Verwendung des Evaluierungstools
Die Anthropic-Konsole verfügt über ein Evaluierungstool, mit dem Sie Ihre Prompts unter verschiedenen Szenarien testen können.
Zugriff auf die Evaluierungsfunktion
So starten Sie mit dem Evaluierungstool:
- Öffnen Sie die Anthropic-Konsole und navigieren Sie zum Prompt-Editor.
- Nachdem Sie Ihren Prompt erstellt haben, suchen Sie nach dem Tab “Evaluate” oben auf dem Bildschirm.
Stellen Sie sicher, dass Ihr Prompt mindestens 1-2 dynamische Variablen mit der doppelten geschweiften Klammersyntax enthält: {{variable}}. Dies ist für die Erstellung von Eval-Testsets erforderlich.
Generieren von Prompts
Die Konsole bietet einen integrierten Prompt-Generator, der von Claude 3.5 Sonnet unterstützt wird:
Klicken Sie auf 'Generate Prompt'
Wenn Sie auf das Hilfstool “Generate Prompt” klicken, öffnet sich ein Fenster, in dem Sie Ihre Aufgabeninformationen eingeben können.
Beschreiben Sie Ihre Aufgabe
Beschreiben Sie Ihre gewünschte Aufgabe (z. B. “Triage eingehender Kundendienstanfragen”) mit so vielen oder wenigen Details, wie Sie möchten. Je mehr Kontext Sie einbeziehen, desto besser kann Claude seinen generierten Prompt auf Ihre spezifischen Bedürfnisse zuschneiden.
Generieren Sie Ihren Prompt
Wenn Sie auf die orangefarbene Schaltfläche “Generate Prompt” unten klicken, generiert Claude einen hochwertigen Prompt für Sie. Sie können diese Prompts dann im Evaluierungsbildschirm der Konsole weiter verbessern.
Diese Funktion erleichtert die Erstellung von Prompts mit der entsprechenden Variablensyntax für die Evaluierung.
Erstellen von Testfällen
Wenn Sie auf den Evaluierungsbildschirm zugreifen, haben Sie mehrere Möglichkeiten, Testfälle zu erstellen:
- Klicken Sie unten links auf die Schaltfläche ”+ Add Row”, um einen Fall manuell hinzuzufügen.
- Verwenden Sie die Funktion “Generate Test Case”, damit Claude automatisch Testfälle für Sie generiert.
- Importieren Sie Testfälle aus einer CSV-Datei.
So verwenden Sie die Funktion “Generate Test Case”:
Klicken Sie auf 'Generate Test Case'
Claude generiert für Sie Testfälle, eine Zeile nach der anderen, für jedes Mal, wenn Sie auf die Schaltfläche klicken.
Bearbeiten Sie die Generierungslogik (optional)
Sie können auch die Logik für die Generierung von Testfällen bearbeiten, indem Sie auf den Pfeil-Dropdown rechts neben der Schaltfläche “Generate Test Case” und dann oben im Variablenfenster, das sich öffnet, auf “Show generation logic” klicken. Möglicherweise müssen Sie oben rechts in diesem Fenster auf “Generate” klicken, um die anfängliche Generierungslogik zu füllen.
Durch die Bearbeitung können Sie die von Claude generierten Testfälle präziser und spezifischer anpassen und optimieren.
Hier ist ein Beispiel für einen gefüllten Evaluierungsbildschirm mit mehreren Testfällen:
Wenn Sie Ihren ursprünglichen Prompttext aktualisieren, können Sie die gesamte Eval-Suite mit dem neuen Prompt erneut ausführen, um zu sehen, wie sich Änderungen auf die Leistung in allen Testfällen auswirken.
Tipps für eine effektive Evaluierung
Verwenden Sie das Hilfstool “Generate a prompt” in der Konsole, um schnell Prompts mit der entsprechenden Variablensyntax für die Evaluierung zu erstellen.
Ergebnisse verstehen und vergleichen
Das Evaluierungstool bietet mehrere Funktionen, mit denen Sie Ihre Prompts verfeinern können:
- Vergleich nebeneinander: Vergleichen Sie die Ausgaben von zwei oder mehr Prompts, um die Auswirkungen Ihrer Änderungen schnell zu erkennen.
- Qualitätsbewertung: Bewerten Sie die Antwortqualität auf einer 5-Punkte-Skala, um Verbesserungen der Antwortqualität pro Prompt zu verfolgen.
- Prompt-Versionierung: Erstellen Sie neue Versionen Ihres Prompts und führen Sie die Testsuite erneut aus, um schnell zu iterieren und die Ergebnisse zu verbessern.
Durch die Überprüfung der Ergebnisse über Testfälle hinweg und den Vergleich verschiedener Prompt-Versionen können Sie Muster erkennen und fundierte Anpassungen an Ihrem Prompt effizienter vornehmen.
Beginnen Sie noch heute mit der Evaluierung Ihrer Prompts, um robustere KI-Anwendungen mit Claude zu entwickeln!