​
Zugriff auf die Evaluierungsfunktion

So beginnen Sie mit dem Evaluierungstool:

  1. Öffnen Sie die Anthropic Console und navigieren Sie zum Prompt-Editor.
  2. Nach dem Erstellen Ihres Prompts finden Sie oben auf dem Bildschirm den Tab ‘Evaluate’.

Stellen Sie sicher, dass Ihr Prompt mindestens 1-2 dynamische Variablen mit der doppelten geschweiften Klammer-Syntax enthält: {{variable}}. Dies ist erforderlich für die Erstellung von Evaluierungstestsets.

​
Prompts generieren

Die Console bietet einen integrierten Prompt-Generator, der von Claude 3.5 Sonnet betrieben wird:

1

Klicken Sie auf 'Generate Prompt'

Durch Klicken auf das ‘Generate Prompt’-Hilfstool öffnet sich ein Modal-Fenster, in dem Sie Ihre Aufgabeninformationen eingeben können.

2

Beschreiben Sie Ihre Aufgabe

Beschreiben Sie Ihre gewünschte Aufgabe (z.B. “Eingehende Kundenservice-Anfragen priorisieren”) mit so viel oder so wenig Detail wie Sie möchten. Je mehr Kontext Sie angeben, desto besser kann Claude den generierten Prompt auf Ihre spezifischen Bedürfnisse abstimmen.

3

Generieren Sie Ihren Prompt

Durch Klicken auf den orangen ‘Generate Prompt’-Button unten wird Claude einen hochwertigen Prompt für Sie generieren. Sie können diese Prompts dann mithilfe des Evaluierungsbildschirms in der Console weiter verbessern.

Diese Funktion erleichtert das Erstellen von Prompts mit der geeigneten Variablensyntax für die Evaluierung.

​
Testfälle erstellen

Wenn Sie den Evaluierungsbildschirm aufrufen, haben Sie mehrere Möglichkeiten, Testfälle zu erstellen:

  1. Klicken Sie auf die Schaltfläche ’+ Add Row’ unten links, um manuell einen Fall hinzuzufügen.
  2. Verwenden Sie die Funktion ‘Generate Test Case’, damit Claude automatisch Testfälle für Sie generiert.
  3. Importieren Sie Testfälle aus einer CSV-Datei.

So verwenden Sie die ‘Generate Test Case’-Funktion:

1

Klicken Sie auf 'Generate Test Case'

Claude wird für Sie Testfälle generieren, eine Zeile pro Klick auf die Schaltfläche.

2

Bearbeiten Sie die Generierungslogik (optional)

Sie können die Testfall-Generierungslogik auch bearbeiten, indem Sie auf den Pfeil-Dropdown rechts neben der ‘Generate Test Case’-Schaltfläche und dann oben im sich öffnenden Variablenfenster auf ‘Show generation logic’ klicken. Möglicherweise müssen Sie oben rechts in diesem Fenster auf ‘Generate’ klicken, um die anfängliche Generierungslogik zu erstellen.

Durch die Bearbeitung können Sie die von Claude generierten Testfälle mit größerer Präzision und Spezifität anpassen und verfeinern.

Hier ist ein Beispiel für einen ausgefüllten Evaluierungsbildschirm mit mehreren Testfällen:

Wenn Sie Ihren ursprünglichen Prompttext aktualisieren, können Sie die gesamte Evaluierungssuite mit dem neuen Prompt erneut ausführen, um zu sehen, wie sich Änderungen auf die Leistung in allen Testfällen auswirken.

​
Tipps für effektive Evaluierung

Verwenden Sie das ‘Generate a prompt’-Hilfstool in der Console, um schnell Prompts mit der geeigneten Variablensyntax für die Evaluierung zu erstellen.

​
Ergebnisse verstehen und vergleichen

Das Evaluierungstool bietet mehrere Funktionen, die Ihnen helfen, Ihre Prompts zu verfeinern:

  1. Nebeneinander-Vergleich: Vergleichen Sie die Ausgaben von zwei oder mehr Prompts, um die Auswirkungen Ihrer Änderungen schnell zu sehen.
  2. Qualitätsbewertung: Bewerten Sie die Antwortqualität auf einer 5-Punkte-Skala, um Verbesserungen der Antwortqualität pro Prompt zu verfolgen.
  3. Prompt-Versionierung: Erstellen Sie neue Versionen Ihres Prompts und führen Sie die Testsuite erneut aus, um schnell zu iterieren und Ergebnisse zu verbessern.

Durch die Überprüfung der Ergebnisse über Testfälle hinweg und den Vergleich verschiedener Prompt-Versionen können Sie Muster erkennen und effizienter fundierte Anpassungen an Ihrem Prompt vornehmen.

Beginnen Sie noch heute mit der Evaluierung Ihrer Prompts, um robustere KI-Anwendungen mit Claude zu erstellen!

Latenz reduzierenGlossar