​
Zugriff auf die Evaluierungsfunktion

Um mit dem Evaluierungstool zu beginnen:

  1. Öffnen Sie die Anthropic Console und navigieren Sie zum Prompt-Editor.
  2. Nachdem Sie Ihren Prompt erstellt haben, suchen Sie nach dem Tab “Evaluate” am oberen Bildschirmrand.

Stellen Sie sicher, dass Ihr Prompt mindestens 1-2 dynamische Variablen mit der doppelten geschweiften Klammer-Syntax enthält: {{variable}}. Dies ist erforderlich, um Evaluierungs-Testsets zu erstellen.

​
Generieren von Prompts

Die Console bietet einen integrierten Prompt-Generator, der von Claude Opus 4 unterstützt wird:

1

Klicken Sie auf 'Generate Prompt'

Durch Klicken auf das Hilfstool ‘Generate Prompt’ öffnet sich ein Modal, in dem Sie Ihre Aufgabeninformationen eingeben können.

2

Beschreiben Sie Ihre Aufgabe

Beschreiben Sie Ihre gewünschte Aufgabe (z.B. “Eingehende Kundenserviceanfragen triagieren”) mit so viel oder so wenig Detail, wie Sie möchten. Je mehr Kontext Sie angeben, desto besser kann Claude seinen generierten Prompt auf Ihre spezifischen Bedürfnisse zuschneiden.

3

Generieren Sie Ihren Prompt

Durch Klicken auf die orangefarbene Schaltfläche ‘Generate Prompt’ am unteren Rand wird Claude einen hochwertigen Prompt für Sie generieren. Sie können diese Prompts dann mit dem Evaluierungsbildschirm in der Console weiter verbessern.

Diese Funktion erleichtert das Erstellen von Prompts mit der geeigneten Variablensyntax für die Evaluierung.

​
Erstellen von Testfällen

Wenn Sie auf den Evaluierungsbildschirm zugreifen, haben Sie mehrere Möglichkeiten, Testfälle zu erstellen:

  1. Klicken Sie auf die Schaltfläche ’+ Add Row’ unten links, um manuell einen Fall hinzuzufügen.
  2. Verwenden Sie die Funktion ‘Generate Test Case’, damit Claude automatisch Testfälle für Sie generiert.
  3. Importieren Sie Testfälle aus einer CSV-Datei.

So verwenden Sie die Funktion ‘Generate Test Case’:

1

Klicken Sie auf 'Generate Test Case'

Claude wird Testfälle für Sie generieren, eine Zeile nach der anderen, jedes Mal wenn Sie auf die Schaltfläche klicken.

2

Bearbeiten Sie die Generierungslogik (optional)

Sie können auch die Testfall-Generierungslogik bearbeiten, indem Sie auf den Pfeil-Dropdown rechts neben der Schaltfläche ‘Generate Test Case’ und dann auf ‘Show generation logic’ oben im Variablenfenster klicken, das sich öffnet. Möglicherweise müssen Sie auf ‘Generate’ oben rechts in diesem Fenster klicken, um die anfängliche Generierungslogik zu füllen.

Durch die Bearbeitung können Sie die von Claude generierten Testfälle mit größerer Präzision und Spezifität anpassen und verfeinern.

Hier ist ein Beispiel für einen gefüllten Evaluierungsbildschirm mit mehreren Testfällen:

Wenn Sie Ihren ursprünglichen Prompttext aktualisieren, können Sie die gesamte Evaluierungssuite mit dem neuen Prompt erneut ausführen, um zu sehen, wie sich Änderungen auf die Leistung in allen Testfällen auswirken.

​
Tipps für effektive Evaluierung

Verwenden Sie das Hilfstool ‘Generate a prompt’ in der Console, um schnell Prompts mit der geeigneten Variablensyntax für die Evaluierung zu erstellen.

​
Ergebnisse verstehen und vergleichen

Das Evaluierungstool bietet mehrere Funktionen, die Ihnen helfen, Ihre Prompts zu verfeinern:

  1. Nebeneinander-Vergleich: Vergleichen Sie die Ausgaben von zwei oder mehr Prompts, um die Auswirkungen Ihrer Änderungen schnell zu sehen.
  2. Qualitätsbewertung: Bewerten Sie die Antwortqualität auf einer 5-Punkte-Skala, um Verbesserungen der Antwortqualität pro Prompt zu verfolgen.
  3. Prompt-Versionierung: Erstellen Sie neue Versionen Ihres Prompts und führen Sie die Testsuite erneut aus, um schnell zu iterieren und Ergebnisse zu verbessern.

Durch die Überprüfung der Ergebnisse über Testfälle hinweg und den Vergleich verschiedener Prompt-Versionen können Sie Muster erkennen und fundierte Anpassungen an Ihrem Prompt effizienter vornehmen.

Beginnen Sie noch heute mit der Evaluierung Ihrer Prompts, um robustere KI-Anwendungen mit Claude zu erstellen!

Was this page helpful?

Latenz reduzierenAnthropic Datenschutzerklärung