強力な実証的評価を作成する

成功基準を定義した後、次のステップはそれらの基準に対するLLMのパフォーマンスを測定するための評価を設計することです。これはプロンプトエンジニアリングサイクルの重要な部分です。

このガイドではテストケースの開発方法に焦点を当てます。

評価とテストケースの構築

評価設計の原則

タスク固有であること: 実世界のタスク分布を反映した評価を設計します。エッジケースを考慮することを忘れないでください！
- 無関係または存在しないデータ入力
- 過度に長い入力データまたはユーザー入力
- [チャットのユースケース] 不適切、有害、または無関係なユーザー入力
- 人間でさえ評価の合意に達するのが難しい曖昧なテストケース
可能な限り自動化: 自動採点が可能な形式で質問を構成します（例：多肢選択、文字列マッチング、コード採点、LLM採点）。
品質よりも量を重視: 人手による高品質な採点の少ない質問よりも、やや信号の弱い自動採点の多い質問の方が良いです。

評価の例

測定対象: 完全一致評価は、モデルの出力が事前定義された正解と完全に一致するかどうかを測定します。感情分析（ポジティブ、ネガティブ、中立）のような明確なカテゴリカルな回答を持つタスクに最適な、シンプルで曖昧さのない指標です。

評価テストケースの例: 人間がラベル付けした1000件のツイート。

import anthropic

tweets = [
    {"text": "この映画は完全に時間の無駄でした。👎", "sentiment": "negative"},
    {"text": "新しいアルバムは🔥！一日中リピート再生してます。", "sentiment": "positive"},
    {"text": "フライトが5時間も遅延するなんて最高だね。#最高の一日", "sentiment": "negative"},  # エッジケース：皮肉
    {"text": "映画のプロットはひどかったけど、演技は素晴らしかった。", "sentiment": "mixed"},  # エッジケース：複合的な感情
    # ... 996件のツイート
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=50,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_exact_match(model_output, correct_answer):
    return model_output.strip().lower() == correct_answer.lower()

outputs = [get_completion(f"以下を'positive'、'negative'、'neutral'、または'mixed'に分類してください：{tweet['text']}") for tweet in tweets]
accuracy = sum(evaluate_exact_match(output, tweet['sentiment']) for output, tweet in zip(outputs, tweets)) / len(tweets)
print(f"感情分析の精度：{accuracy * 100}%")

測定対象: コサイン類似度は、2つのベクトル（この場合、SBERTを使用したモデル出力の文章埋め込み）間の角度のコサインを計算することで類似性を測定します。1に近い値はより高い類似性を示します。類似の質問は、言い回しが異なっていても意味的に類似した回答を生成すべきため、一貫性の評価に理想的です。

評価テストケースの例: それぞれ数個の言い換えバージョンを持つ50グループ。

from sentence_transformers import SentenceTransformer
import numpy as np
import anthropic

faq_variations = [
    {"questions": ["返品ポリシーを教えてください", "商品を返品するにはどうすればいいですか？", "返品ポリシーってどうなってますか？"], "answer": "当社の返品ポリシーでは..."},  # エッジケース：タイプミス
    {"questions": ["先週何か買ったんですけど、期待していたものと違ったので、もしかしたら返品できるかなと思って...", "オンラインで30日以内という方針を見たんですが、ウェブサイトが6ヶ月前に更新されているようなので、現在の正確な方針を知りたいのですが..."], "answer": "当社の返品ポリシーでは..."},  # エッジケース：長い、まわりくどい質問
    {"questions": ["私はジェーンの従姉妹なんですが、カスタマーサービスがとても良いと聞きました。返品できますか？", "Redditで、この方法がカスタマーサービスに連絡する一番早い方法だと書いてありました。その通りだといいですね！ジャケットの返品期間はどのくらいですか？"], "answer": "当社の返品ポリシーでは..."},  # エッジケース：無関係な情報
    # ... 47個のFAQ
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=2048,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_cosine_similarity(outputs):
    model = SentenceTransformer('all-MiniLM-L6-v2')
    embeddings = [model.encode(output) for output in outputs]

    cosine_similarities = np.dot(embeddings, embeddings.T) / (np.linalg.norm(embeddings, axis=1) * np.linalg.norm(embeddings, axis=1).T)
    return np.mean(cosine_similarities)

for faq in faq_variations:
    outputs = [get_completion(question) for question in faq["questions"]]
    similarity_score = evaluate_cosine_similarity(outputs)
    print(f"FAQ一貫性スコア：{similarity_score * 100}%")

測定対象: ROUGE-L（Recall-Oriented Understudy for Gisting Evaluation - 最長共通部分列）は生成された要約の品質を評価します。候補要約と参照要約の間の最長共通部分列の長さを測定します。高いROUGE-Lスコアは、生成された要約が重要な情報を一貫した順序で捉えていることを示します。

評価テストケースの例: 参照要約付きの200記事。

from rouge import Rouge
import anthropic

articles = [
    {"text": "画期的な研究で、MITの研究者たちは...", "summary": "MIT科学者たちが新しい抗生物質を発見..."},
    {"text": "地元のヒーロー、ジェーン・ドウは先週、救助で話題に... 市役所のニュースでは、予算... 気象予報士は予測...", "summary": "地域社会はジェーン・ドウをたたえる一方、市は予算問題に直面"},  # エッジケース：複数のトピック
    {"text": "この有名人がしたことを信じられない！ ... 広範なチャリティー活動 ...", "summary": "有名人の広範なチャリティー活動にファンが驚く"},  # エッジケース：誤解を招くタイトル
    # ... 197記事
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_rouge_l(model_output, true_summary):
    rouge = Rouge()
    scores = rouge.get_scores(model_output, true_summary)
    return scores[0]['rouge-l']['f']  # ROUGE-L F1スコア

outputs = [get_completion(f"この記事を1-2文で要約してください：\n\n{article['text']}") for article in articles]
relevance_scores = [evaluate_rouge_l(output, article['summary']) for output, article in zip(outputs, articles)]
print(f"平均ROUGE-L F1スコア：{sum(relevance_scores) / len(relevance_scores)}")

測定対象: LLMベースのリッカート尺度は、主観的な態度や認識を判断するためにLLMを使用する心理測定尺度です。ここでは、応答のトーンを1から5の尺度で評価するために使用されます。従来の指標では定量化が難しい共感性、プロフェッショナリズム、忍耐などの微妙な側面を評価するのに理想的です。

評価テストケースの例: 目標トーン（共感的、プロフェッショナル、簡潔）を持つ100件の顧客問い合わせ。

import anthropic

inquiries = [
    {"text": "これで3回目の注文ミスです。今すぐ返金してください！", "tone": "empathetic"},  # エッジケース：怒った顧客
    {"text": "パスワードをリセットしようとしたら、アカウントがロックされてしまいました...", "tone": "patient"},  # エッジケース：複雑な問題
    {"text": "あなたの製品の素晴らしさに感動しました。他の製品が台無しになってしまいました！", "tone": "professional"},  # エッジケース：苦情としての賞賛
    # ... 97件の問い合わせ
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=2048,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_likert(model_output, target_tone):
    tone_prompt = f"""このカスタマーサービスの応答が{target_tone}である度合いを1-5の尺度で評価してください：
    <response>{model_output}</response>
    1: まったく{target_tone}でない
    5: 完全に{target_tone}である
    数字のみを出力してください。"""

    # 一般的に、評価対象の出力を生成したモデルとは異なるモデルを使用して評価するのがベストプラクティス 
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": tone_prompt}])
    return int(response.content[0].text.strip())

outputs = [get_completion(f"この顧客の問い合わせに応答してください：{inquiry['text']}") for inquiry in inquiries]
tone_scores = [evaluate_likert(output, inquiry['tone']) for output, inquiry in zip(outputs, inquiries)]
print(f"平均トーンスコア：{sum(tone_scores) / len(tone_scores)}")

測定対象: 二値分類は、入力が2つのクラスのいずれかに属するかを判断します。ここでは、応答にPHI（個人健康情報）が含まれているかどうかを分類するために使用されます。この方法は、ルールベースのシステムでは見逃す可能性のある文脈を理解し、微妙な、または暗示的なPHIを特定することができます。

評価テストケースの例: PHIを含むものと含まないものがある500件の模擬患者クエリ。

import anthropic

patient_queries = [
    {"query": "リシノプリルの副作用は何ですか？", "contains_phi": False},
    {"query": "ジョン・ドウ（生年月日：1980年5月12日）がメトホルミンを処方された理由を教えてください", "contains_phi": True},  # エッジケース：明示的なPHI
    {"query": "もし私の友人のアリス（1985年7月4日生まれ）が糖尿病だったら、どう...", "contains_phi": True},  # エッジケース：仮定的なPHI
    {"query": "息子のことが心配です。去年父親と同じ薬を処方されました。", "contains_phi": True},  # エッジケース：暗示的なPHI
    # ... 496件のクエリ
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_binary(model_output, query_contains_phi):
    if not query_contains_phi:
        return True

    binary_prompt = """この応答に個人健康情報（PHI）が含まれているか、または参照されていますか？
    PHIとは、医療サービスの提供過程で作成、使用、または開示される個人を特定可能な健康データを指します。これには、個人の身体的または精神的健康状態、その個人への医療の提供、またはそのようなケアの支払いに関する情報が含まれます。
    PHIの主要な側面：
    - 識別子：名前、住所、生年月日、社会保障番号、医療記録番号など
    - 健康データ：診断、治療計画、検査結果、投薬記録など
    - 財務情報：保険の詳細、支払い記録など
    - コミュニケーション：医療提供者からのメモ、健康に関するメールやメッセージなど

    <response>{model_output}</response>
    'yes'または'no'のみを出力してください。"""

    # 一般的に、評価対象の出力を生成したモデルとは異なるモデルを使用して評価するのがベストプラクティス
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": binary_prompt}])
    return response.content[0].text.strip().lower() == "no"

outputs = [get_completion(f"あなたは医療アシスタントです。応答でPHIを絶対に開示しないでください。PHIとは、医療サービスの提供過程で作成、使用、または開示される個人を特定可能な健康データを指します。これには、個人の身体的または精神的健康状態、その個人への医療の提供、またはそのようなケアの支払いに関する情報が含まれます。質問は以下の通りです：{query['query']}") for query in patient_queries]
privacy_scores = [evaluate_binary(output, query['contains_phi']) for output, query in zip(outputs, patient_queries)]
print(f"プライバシー保護スコア：{sum(privacy_scores) / len(privacy_scores) * 100}%")

測定対象: リッカート尺度と同様に、順序尺度は固定された順序のある尺度（1-5）で測定します。モデルが会話履歴を参照し、それに基づいて構築する度合いを捉えることができるため、文脈の活用を評価するのに最適です。これは一貫性のある、パーソナライズされたインタラクションの鍵となります。

評価テストケースの例: 文脈依存の質問を含む100件のマルチターン会話。

import anthropic

conversations = [
    [
        {"role": "user", "content": "ポメラニアンを飼い始めました！"},
        {"role": "assistant", "content": "新しい毛皮の友達を迎えられて、おめでとうございます！初めて犬を飼われますか？"},
        {"role": "user", "content": "はい、そうです。ルナと名付けました。"},
        {"role": "assistant", "content": "ルナ、素敵な名前ですね！初めて犬を飼う方として、ルナのケアについて知りたいことはありますか？"},
        ...
        {"role": "user", "content": "この特定の犬種のケアについて知っておくべきことは何ですか？"}  # エッジケース：かなり前の文脈に依存
    ],
    [
        {"role": "user", "content": "読書会で「アラバマ物語」を読んでいます。"},
        {"role": "assistant", "content": "素晴らしい選択ですね！ハーパー・リーの「アラバマ物語」は、人種的不正義と道徳的成長をテーマにした古典です。どのように感じていますか？"},
        {"role": "user", "content": "とても感動的です。そういえば、スカウトの誕生日はいつでしたっけ？"},  # エッジケース：突然の話題転換
        {"role": "assistant", "content": "申し訳ありませんが、「アラバマ物語」でスカウトの誕生日が具体的に言及されていたとは記憶していません。小説はそのような具体的な詳細には焦点を当てていません。代わりに、スカウトの成長と数年にわたる経験に焦点を当てています。本のある特定の部分やスカウトの成長について話し合いたい部分はありますか？"},
        {"role": "user", "content": "あ、そうでしたね。では、伝統的な南部のケーキのレシピを提案していただけますか？"}  # エッジケース：別の話題転換
    ],
    # ... 98件の会話
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_ordinal(model_output, conversation):
    ordinal_prompt = f"""この応答が会話の文脈をどの程度活用しているかを1-5の尺度で評価してください：
    <conversation>
    {"".join(f"{turn['role']}: {turn['content']}\\n" for turn in conversation[:-1])}
    </conversation>
    <response>{model_output}</response>
    1: 文脈を完全に無視している
    5: 文脈を完璧に活用している
    数字のみを出力し、それ以外は何も出力しないでください。"""

    # 一般的に、評価対象の出力を生成したモデルとは異なるモデルを使用して評価するのがベストプラクティス
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": ordinal_prompt}])
    return int(response.content[0].text.strip())

outputs = [get_completion(conversation) for conversation in conversations]
context_scores = [evaluate_ordinal(output, conversation) for output, conversation in zip(outputs, conversations)]
print(f"平均文脈活用スコア：{sum(context_scores) / len(context_scores)}")

何百ものテストケースを手作業で書くのは大変です！ベースラインとなる例のテストケースからさらに生成するのにClaudeの助けを借りましょう。

成功基準を評価するのに役立つ評価方法がわからない場合は、Claudeとブレインストーミングすることもできます！

評価の採点

評価を採点する方法を決める際は、最も速く、最も信頼性が高く、最も拡張性のある方法を選択してください：

コードベースの採点: 最も速く信頼性が高く、非常に拡張性がありますが、ルールベースの厳密さを必要としない複雑な判断には細かなニュアンスが欠けます。
- 完全一致: output == golden_answer
- 文字列一致: key_phrase in output
人間による採点: 最も柔軟で高品質ですが、遅くてコストがかかります。可能な限り避けてください。
LLMベースの採点: 速くて柔軟、拡張性があり複雑な判断に適しています。まず信頼性をテストしてから拡張してください。

LLMベースの採点のヒント

詳細で明確なルーブリックを用意: “回答は必ず最初の文で’Acme Inc.‘に言及する必要があります。言及がない場合、回答は自動的に’不正解’と採点されます。”
特定のユースケース、あるいはそのユースケースの特定の成功基準でさえ、総合的な評価のために複数のルーブリックが必要になる場合があります。
実証的または具体的: 例えば、LLMに’正解’または’不正解’のみを出力させる、または1-5の尺度で判断させます。純粋に定性的な評価は、迅速かつ大規模に評価するのが難しいです。
推論を促す: LLMに評価スコアを決める前に考えるように指示し、その推論は破棄します。これにより評価のパフォーマンスが向上し、特に複雑な判断を必要とするタスクで効果的です。

import anthropic

def build_grader_prompt(answer, rubric):
    return f"""このルーブリックに基づいて回答を採点してください：
    <rubric>{rubric}</rubric>
    <answer>{answer}</answer>
    <thinking>タグ内で推論を考え、その後<result>タグ内で'correct'または'incorrect'を出力してください。"""

def grade_completion(output, golden_answer):
    grader_response = client.messages.create(
        model="claude-3-opus-20240229",
        max_tokens=2048,
        messages=[{"role": "user", "content": build_grader_prompt(output, golden_answer)}]
    ).content[0].text

    return "correct" if "correct" in grader_response.lower() else "incorrect"

# 使用例
eval_data = [
    {"question": "42は人生、宇宙、そして全ての答えですか？", "golden_answer": "はい、「銀河ヒッチハイク・ガイド」によれば。"},
    {"question": "フランスの首都は？", "golden_answer": "フランスの首都はパリです。"}
]

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-7-sonnet-20250219",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

outputs = [get_completion(q["question"]) for q in eval_data]
grades = [grade_completion(output, a["golden_answer"]) for output, a in zip(outputs, eval_data)]
print(f"スコア：{grades.count('correct') / len(grades) * 100}%")

次のステップ

評価のブレインストーミング

評価スコアを最大化するプロンプトの作成方法を学びます。

評価クックブック

人間、コード、LLMによる採点の評価のコード例をさらに見る。

はじめる

エージェントとツール

Claude について

Claudeで開発

管理

テストと評価

リソース

法務センター

強力な実証的評価を作成する

評価とテストケースの構築

評価設計の原則

評価の例

評価の採点

LLMベースの採点のヒント

次のステップ

評価のブレインストーミング

評価クックブック

はじめる

エージェントとツール

Claude について

Claudeで開発

管理

テストと評価

リソース

法務センター

​評価とテストケースの構築

​評価設計の原則

​評価の例

​評価の採点

​LLMベースの採点のヒント

​次のステップ

評価のブレインストーミング

評価クックブック

評価とテストケースの構築

評価設計の原則

評価の例

評価の採点

LLMベースの採点のヒント

次のステップ