評価ツールの使用方法

​

評価機能へのアクセス

評価ツールを使い始めるには：

1. Anthropic Consoleを開き、プロンプトエディタに移動します。
2. プロンプトを作成した後、画面上部の「評価」タブを探します。

​

プロンプトの生成

ConsoleにはClaude 3.5 Sonnetを活用したプロンプトジェネレーターが組み込まれています：

この機能により、評価に適切な変数構文を含むプロンプトを簡単に作成できます。

​

テストケースの作成

評価画面にアクセスすると、テストケースを作成するためのいくつかのオプションがあります：

1. 左下の「+ 行を追加」ボタンをクリックして、手動でケースを追加します。
2. 「テストケースを生成」機能を使用して、Claudeに自動的にテストケースを生成させます。
3. CSVファイルからテストケースをインポートします。

「テストケースを生成」機能を使用するには：

以下は、複数のテストケースが入力された評価画面の例です：

​

効果的な評価のためのヒント

このタスクでは、色と音の2つの要素を組み込んだかわいい一文の物語を生成します。
物語に含める色は：
<color>
{{COLOR}}
</color>
物語に含める音は：
<sound>
{{SOUND}}
</sound>
物語を生成するためのステップは以下の通りです：
1. 提供された色に一般的に関連付けられる物体、動物、または情景を考えます。例えば、色が「青」の場合、空、海、ブルーバードなどを思い浮かべることができます。
2. 特定した色のついた物体/動物/情景と提供された音を含む、シンプルな動作、出来事、または情景を想像します。例えば、色が「青」で音が「口笛」の場合、口笛を吹くブルーバードを想像できます。
3. 想像した動作、出来事、または情景を1つの簡潔な文で描写します。文をかわいらしく、印象的で想像力豊かなものにすることに焦点を当てます。例：「陽気なブルーバードは、青空を舞いながら楽しげな旋律を口笛で奏でました。」
物語は必ず1文だけにしてください。与えられた色と音を自然に組み込みながら、できるだけ魅力的で印象的な文を作ることを目指してください。
完成した1文の物語を<story>タグの中に書いてください。

​

結果の理解と比較

評価ツールには、プロンプトを改善するためのいくつかの機能があります：

1. 並列比較：2つ以上のプロンプトの出力を比較して、変更の影響を素早く確認できます。
2. 品質評価：5段階で応答品質を評価し、プロンプトごとの応答品質の改善を追跡できます。
3. プロンプトのバージョン管理：プロンプトの新しいバージョンを作成し、テストスイートを再実行して、素早く反復して結果を改善できます。

テストケース全体の結果を確認し、異なるプロンプトバージョンを比較することで、パターンを特定し、プロンプトをより効率的に調整できます。

今すぐプロンプトの評価を開始して、ClaudeでよりロバストなAIアプリケーションを構築しましょう！