Verwendung des Evaluierungstools

​

Zugriff auf die Evaluierungsfunktion

So beginnen Sie mit dem Evaluierungstool:

1. Öffnen Sie die Anthropic Console und navigieren Sie zum Prompt-Editor.
2. Nach dem Erstellen Ihres Prompts suchen Sie nach dem Tab ‘Evaluieren’ am oberen Bildschirmrand.

​

Prompts generieren

Die Console bietet einen integrierten Prompt-Generator, der von Claude 3.7 Sonnet betrieben wird:

Diese Funktion erleichtert das Erstellen von Prompts mit der geeigneten Variablensyntax für die Evaluierung.

​

Testfälle erstellen

Wenn Sie den Evaluierungsbildschirm aufrufen, haben Sie mehrere Möglichkeiten, Testfälle zu erstellen:

1. Klicken Sie auf die Schaltfläche ’+ Zeile hinzufügen’ unten links, um manuell einen Fall hinzuzufügen.
2. Verwenden Sie die Funktion ‘Testfall generieren’, damit Claude automatisch Testfälle für Sie generiert.
3. Importieren Sie Testfälle aus einer CSV-Datei.

So verwenden Sie die Funktion ‘Testfall generieren’:

Hier ist ein Beispiel für einen ausgefüllten Evaluierungsbildschirm mit mehreren Testfällen:

​

Tipps für effektive Evaluierung

In dieser Aufgabe werden Sie eine niedliche einzeilige Geschichte generieren, die zwei Elemente enthält: eine Farbe und einen Klang.
Die in der Geschichte zu verwendende Farbe ist:
<color>
{{COLOR}}
</color>
Der in der Geschichte zu verwendende Klang ist:
<sound>
{{SOUND}}
</sound>
Hier sind die Schritte zur Generierung der Geschichte:
1. Denken Sie an ein Objekt, Tier oder eine Szene, die üblicherweise mit der angegebenen Farbe in Verbindung gebracht wird. Wenn die Farbe zum Beispiel "blau" ist, könnten Sie an den Himmel, den Ozean oder einen Blaumeisen denken.
2. Stellen Sie sich eine einfache Handlung, ein Ereignis oder eine Szene vor, die das farbige Objekt/Tier/die Szene und den angegebenen Klang beinhaltet. Wenn die Farbe zum Beispiel "blau" und der Klang "Pfeifen" ist, könnten Sie sich eine pfeifende Blaumeise vorstellen.
3. Beschreiben Sie die Handlung, das Ereignis oder die Szene, die Sie sich vorgestellt haben, in einem einzigen, prägnanten Satz. Konzentrieren Sie sich darauf, den Satz niedlich, anschaulich und fantasievoll zu gestalten. Zum Beispiel: "Eine fröhliche Blaumeise pfiff eine muntere Melodie, während sie durch den azurblauen Himmel schwebte."
Bitte beschränken Sie Ihre Geschichte auf einen einzigen Satz. Versuchen Sie, diesen Satz so charmant und fesselnd wie möglich zu gestalten und dabei die gegebene Farbe und den Klang natürlich einzubauen.
Schreiben Sie Ihre fertige einzeilige Geschichte zwischen <story> Tags.

​

Ergebnisse verstehen und vergleichen

Das Evaluierungstool bietet mehrere Funktionen, die Ihnen helfen, Ihre Prompts zu verfeinern:

1. Nebeneinander-Vergleich: Vergleichen Sie die Ausgaben von zwei oder mehr Prompts, um die Auswirkungen Ihrer Änderungen schnell zu sehen.
2. Qualitätsbewertung: Bewerten Sie die Antwortqualität auf einer 5-Punkte-Skala, um Verbesserungen der Antwortqualität pro Prompt zu verfolgen.
3. Prompt-Versionierung: Erstellen Sie neue Versionen Ihres Prompts und führen Sie die Testsuite erneut aus, um schnell zu iterieren und die Ergebnisse zu verbessern.

Durch die Überprüfung der Ergebnisse über Testfälle hinweg und den Vergleich verschiedener Prompt-Versionen können Sie Muster erkennen und effizienter fundierte Anpassungen an Ihrem Prompt vornehmen.

Beginnen Sie noch heute mit der Evaluierung Ihrer Prompts, um robustere KI-Anwendungen mit Claude zu erstellen!