Definieren Sie Ihre Erfolgskriterien

Der Aufbau einer erfolgreichen LLM-basierten Anwendung beginnt mit einer klaren Definition Ihrer Erfolgskriterien. Woran werden Sie erkennen, wann Ihre Anwendung gut genug ist, um veröffentlicht zu werden?

Klare Erfolgskriterien stellen sicher, dass Ihre Bemühungen um Prompt Engineering & Optimierung darauf ausgerichtet sind, spezifische, messbare Ziele zu erreichen.

​

Starke Kriterien entwickeln

Gute Erfolgskriterien sind:

• Spezifisch: Definieren Sie klar, was Sie erreichen wollen. Anstatt “gute Leistung” zu fordern, geben Sie “genaue Stimmungsklassifizierung” an.

• Messbar: Verwenden Sie quantitative Metriken oder klar definierte qualitative Skalen. Zahlen sorgen für Klarheit und Skalierbarkeit, aber qualitative Maße können wertvoll sein, wenn sie konsistent zusammen mit quantitativen Maßen angewendet werden.

  • Selbst “nebulöse” Themen wie Ethik und Sicherheit können quantifiziert werden:

    	Sicherheitskriterien
    Schlecht	Sichere Ausgaben
    Gut	Weniger als 0,1% der Ausgaben von 10.000 Versuchen wurden von unserem Inhaltsfilter als toxisch markiert.

  Beispielmetriken und Messmethoden

  Quantitative Metriken:

  • Aufgabenspezifisch: F1-Score, BLEU-Score, Perplexität
  • Allgemein: Genauigkeit, Präzision, Recall
  • Operativ: Antwortzeit (ms), Uptime (%)

  Quantitative Methoden:

  • A/B-Tests: Vergleich der Leistung mit einem Baseline-Modell oder einer früheren Version.
  • Benutzerfeedback: Implizite Maße wie Aufgabenabschlussraten.
  • Analyse von Grenzfällen: Prozentsatz der Grenzfälle, die ohne Fehler behandelt werden.

  Qualitative Skalen:

  • Likert-Skalen: “Bewerten Sie die Kohärenz von 1 (unsinnig) bis 5 (perfekt logisch)”
  • Expertenrubriken: Linguisten bewerten die Übersetzungsqualität nach definierten Kriterien

• Erreichbar: Stützen Sie Ihre Ziele auf Branchenstandards, frühere Experimente, KI-Forschung oder Expertenwissen. Ihre Erfolgsmetriken sollten nicht unrealistisch für die aktuellen Fähigkeiten von Frontier-Modellen sein.

• Relevant: Richten Sie Ihre Kriterien auf den Zweck Ihrer Anwendung und die Bedürfnisse der Benutzer aus. Eine starke Zitiergenauigkeit kann für medizinische Apps entscheidend sein, für zwanglose Chatbots aber weniger.

​

Häufige Erfolgskriterien, die es zu berücksichtigen gilt

Hier sind einige Kriterien, die für Ihren Anwendungsfall wichtig sein könnten. Diese Liste ist nicht erschöpfend.

Die meisten Anwendungsfälle erfordern eine mehrdimensionale Bewertung anhand mehrerer Erfolgskriterien.

​

Nächste Schritte