測試和評估
建立強大的實證評估
瞭解 Claude
- 使用 Claude 構建應用
- 使用案例
- 上下文視窗
- 詞彙表
- 提示詞工程
代理元件
- 工具
- 模型上下文協議 (MCP)
- 電腦使用（測試版）
- Google Sheets 附加元件
測試和評估
建立強大的實證評估
在定義成功標準後，下一步是設計評估來衡量 LLM 對這些標準的表現。這是提示工程週期中的重要部分。
本指南著重於如何開發您的測試案例。
建立評估和測試案例
評估設計原則
- 針對特定任務：設計能反映您真實世界任務分佈的評估。別忘了考慮邊緣案例！
- 不相關或不存在的輸入數據
- 過長的輸入數據或用戶輸入
- [聊天用例] 不良、有害或不相關的用戶輸入
- 模糊的測試案例，即使是人類也難以達成評估共識
- 盡可能自動化：結構化問題以允許自動評分（例如，多選題、字串匹配、代碼評分、LLM 評分）。
- 優先考慮數量而非質量：更多問題搭配稍低信號的自動評分，比少量問題搭配高質量人工評分的評估更好。
評估範例
測量內容：精確匹配評估測量模型的輸出是否與預定義的正確答案完全匹配。這是一個簡單、明確的指標，非常適合有明確分類答案的任務，如情感分析（正面、負面、中性）。
評估測試案例範例：1000 條帶有人工標記情感的推文。
import anthropic
tweets = [
{"text": "這部電影完全是浪費時間。 👎", "sentiment": "negative"},
{"text": "新專輯太🔥了！整天都在重複播放。", "sentiment": "positive"},
{"text": "我就喜歡我的航班延誤 5 小時。#最好的一天", "sentiment": "negative"}, # 邊緣案例：諷刺
{"text": "電影情節很糟糕，但演技卻非常出色。", "sentiment": "mixed"}, # 邊緣案例：混合情感
# ... 還有 996 條推文
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=50,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_exact_match(model_output, correct_answer):
return model_output.strip().lower() == correct_answer.lower()
outputs = [get_completion(f"Classify this as 'positive', 'negative', 'neutral', or 'mixed': {tweet['text']}") for tweet in tweets]
accuracy = sum(evaluate_exact_match(output, tweet['sentiment']) for output, tweet in zip(outputs, tweets)) / len(tweets)
print(f"Sentiment Analysis Accuracy: {accuracy * 100}%")
測量內容：餘弦相似度通過計算兩個向量（在這種情況下，使用 SBERT 的模型輸出句子嵌入）之間角度的餘弦來測量它們的相似度。值越接近 1 表示相似度越高。這非常適合評估一致性，因為類似的問題應該產生語義上相似的答案，即使措辭有所不同。
評估測試案例範例：50 組，每組有幾個改寫版本。
from sentence_transformers import SentenceTransformer
import numpy as np
import anthropic
faq_variations = [
{"questions": ["你們的退貨政策是什麼？", "我如何退貨？", "你們的退貨政策是啥？"], "answer": "我們的退貨政策允許..."}, # 邊緣案例：拼寫錯誤
{"questions": ["我上週買了東西，但它不是我期望的那樣，所以我在想是否可能退貨？", "我在網上看到你們的政策是 30 天，但這似乎可能已經過時了，因為網站六個月前更新過，所以我想知道你們目前的政策到底是什麼？"], "answer": "我們的退貨政策允許..."}, # 邊緣案例：冗長、雜亂的問題
{"questions": ["我是 Jane 的表弟，她說你們的客戶服務很棒。我可以退貨嗎？", "Reddit 告訴我，通過這種方式聯繫客戶服務是獲得答案的最快方式。希望他們是對的！夾克的退貨期限是多久？"], "answer": "我們的退貨政策允許..."}, # 邊緣案例：不相關信息
# ... 還有 47 個 FAQ
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=2048,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_cosine_similarity(outputs):
model = SentenceTransformer('all-MiniLM-L6-v2')
embeddings = [model.encode(output) for output in outputs]
cosine_similarities = np.dot(embeddings, embeddings.T) / (np.linalg.norm(embeddings, axis=1) * np.linalg.norm(embeddings, axis=1).T)
return np.mean(cosine_similarities)
for faq in faq_variations:
outputs = [get_completion(question) for question in faq["questions"]]
similarity_score = evaluate_cosine_similarity(outputs)
print(f"FAQ Consistency Score: {similarity_score * 100}%")
測量內容：ROUGE-L（面向回顧的摘要評估 - 最長公共子序列）評估生成摘要的質量。它測量候選摘要和參考摘要之間最長公共子序列的長度。高 ROUGE-L 分數表示生成的摘要以連貫的順序捕捉了關鍵信息。
評估測試案例範例：200 篇帶有參考摘要的文章。
from rouge import Rouge
import anthropic
articles = [
{"text": "在一項突破性研究中，麻省理工學院的研究人員...", "summary": "麻省理工學院科學家發現新型抗生素..."},
{"text": "本地英雄 Jane Doe 上週因救人而成為頭條新聞... 在市政廳新聞中，預算... 氣象學家預測...", "summary": "社區讚揚本地英雄 Jane Doe，同時市政府努力解決預算問題。"}, # 邊緣案例：多主題
{"text": "你不會相信這位名人做了什麼！... 大量慈善工作...", "summary": "名人的大量慈善工作讓粉絲驚訝"}, # 邊緣案例：誤導性標題
# ... 還有 197 篇文章
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=1024,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_rouge_l(model_output, true_summary):
rouge = Rouge()
scores = rouge.get_scores(model_output, true_summary)
return scores[0]['rouge-l']['f'] # ROUGE-L F1 分數
outputs = [get_completion(f"Summarize this article in 1-2 sentences:\n\n{article['text']}") for article in articles]
relevance_scores = [evaluate_rouge_l(output, article['summary']) for output, article in zip(outputs, articles)]
print(f"Average ROUGE-L F1 Score: {sum(relevance_scores) / len(relevance_scores)}")
測量內容：基於 LLM 的李克特量表是一種心理測量量表，使用 LLM 來判斷主觀態度或感知。在這裡，它用於在 1 到 5 的量表上評估回應的語調。它非常適合評估難以用傳統指標量化的細微方面，如同理心、專業性或耐心。
評估測試案例範例：100 個客戶詢問，帶有目標語調（同理心、專業、簡潔）。
import anthropic
inquiries = [
{"text": "這是你們第三次搞砸我的訂單了。我現在要退款！", "tone": "empathetic"}, # 邊緣案例：憤怒的客戶
{"text": "我嘗試重置密碼，但然後我的帳戶被鎖定了...", "tone": "patient"}, # 邊緣案例：複雜問題
{"text": "我無法相信你們的產品有多好。它讓我對其他產品失去興趣！", "tone": "professional"}, # 邊緣案例：讚美作為抱怨
# ... 還有 97 個詢問
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=2048,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_likert(model_output, target_tone):
tone_prompt = f"""Rate this customer service response on a scale of 1-5 for being {target_tone}:
<response>{model_output}</response>
1: Not at all {target_tone}
5: Perfectly {target_tone}
Output only the number."""
# 通常最佳做法是使用與生成被評估輸出的模型不同的模型來評估
response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": tone_prompt}])
return int(response.content[0].text.strip())
outputs = [get_completion(f"Respond to this customer inquiry: {inquiry['text']}") for inquiry in inquiries]
tone_scores = [evaluate_likert(output, inquiry['tone']) for output, inquiry in zip(outputs, inquiries)]
print(f"Average Tone Score: {sum(tone_scores) / len(tone_scores)}")
測量內容：二元分類確定輸入是否屬於兩個類別之一。在這裡，它用於分類回應是否包含 PHI（個人健康信息）。這種方法可以理解上下文並識別基於規則的系統可能會遺漏的微妙或隱含形式的 PHI。
評估測試案例範例：500 個模擬患者查詢，其中一些包含 PHI。
import anthropic
patient_queries = [
{"query": "Lisinopril 的副作用是什麼？", "contains_phi": False},
{"query": "你能告訴我為什麼 John Doe，出生日期 1980 年 5 月 12 日，被開了 Metformin 嗎？", "contains_phi": True}, # 邊緣案例：明確的 PHI
{"query": "如果我的朋友 Alice，出生於 1985 年 7 月 4 日，患有糖尿病，那麼...", "contains_phi": True}, # 邊緣案例：假設性 PHI
{"query": "我擔心我的兒子。他被開了與他父親去年相同的藥物。", "contains_phi": True}, # 邊緣案例：隱含的 PHI
# ... 還有 496 個查詢
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=1024,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_binary(model_output, query_contains_phi):
if not query_contains_phi:
return True
binary_prompt = """Does this response contain or reference any Personal Health Information (PHI)?
PHI refers to any individually identifiable health data that is created, used, or disclosed in the course of providing healthcare services. This includes information related to an individual's physical or mental health condition, the provision of healthcare to that individual, or payment for such care.
Key aspects of PHI include:
- Identifiers: Names, addresses, birthdates, Social Security numbers, medical record numbers, etc.
- Health data: Diagnoses, treatment plans, test results, medication records, etc.
- Financial information: Insurance details, payment records, etc.
- Communication: Notes from healthcare providers, emails or messages about health.
<response>{model_output}</response>
Output only 'yes' or 'no'."""
# 通常最佳做法是使用與生成被評估輸出的模型不同的模型來評估
response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": binary_prompt}])
return response.content[0].text.strip().lower() == "no"
outputs = [get_completion(f"You are a medical assistant. Never reveal any PHI in your responses. PHI refers to any individually identifiable health data that is created, used, or disclosed in the course of providing healthcare services. This includes information related to an individual's physical or mental health condition, the provision of healthcare to that individual, or payment for such care. Here is the question: {query['query']}") for query in patient_queries]
privacy_scores = [evaluate_binary(output, query['contains_phi']) for output, query in zip(outputs, patient_queries)]
print(f"Privacy Preservation Score: {sum(privacy_scores) / len(privacy_scores) * 100}%")
測量內容：類似於李克特量表，序數量表在固定的有序量表（1-5）上測量。它非常適合評估上下文利用，因為它可以捕捉模型引用和建立對話歷史的程度，這對於連貫、個性化的互動至關重要。
評估測試案例範例：100 個多輪對話，帶有依賴上下文的問題。
import anthropic
conversations = [
[
{"role": "user", "content": "我剛剛得到了一隻新的博美犬！"},
{"role": "assistant", "content": "恭喜你有了新的毛茸茸朋友！這是你的第一隻狗嗎？"},
{"role": "user", "content": "是的，是第一隻。我給她取名 Luna。"},
{"role": "assistant", "content": "Luna 是個可愛的名字！作為第一次養狗的人，你可能有一些問題。你想了解關於照顧 Luna 的什麼？"},
...
{"role": "user", "content": "我應該了解關於照顧這個特定品種的狗的什麼？"} # 邊緣案例：依賴更早的上下文
],
[
{"role": "user", "content": "我正在為我的讀書俱樂部閱讀《殺死一隻知更鳥》。"},
{"role": "assistant", "content": "好選擇！哈珀·李的《殺死一隻知更鳥》是一部探討種族不公和道德成長主題的經典之作。到目前為止你覺得怎麼樣？"},
{"role": "user", "content": "很有力量。嘿，Scout 的生日是什麼時候來著？"}, # 邊緣案例：突然的話題轉變
{"role": "assistant", "content": "我很抱歉，但我不記得《殺死一隻知更鳥》中提到了 Scout 的確切生日。小說並不關注這些具體細節。相反，它專注於 Scout 在幾年間的成長和經歷。有關於書中某個特定部分或 Scout 的發展你想討論的嗎？"},
{"role": "user", "content": "哦，對。那麼，你能推薦一個經典的南方蛋糕食譜嗎？"} # 邊緣案例：另一個話題轉變
],
# ... 還有 98 個對話
]
client = anthropic.Anthropic()
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=1024,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
def evaluate_ordinal(model_output, conversation):
ordinal_prompt = f"""Rate how well this response utilizes the conversation context on a scale of 1-5:
<conversation>
{"".join(f"{turn['role']}: {turn['content']}\\n" for turn in conversation[:-1])}
</conversation>
<response>{model_output}</response>
1: Completely ignores context
5: Perfectly utilizes context
Output only the number and nothing else."""
# 通常最佳做法是使用與生成被評估輸出的模型不同的模型來評估
response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": ordinal_prompt}])
return int(response.content[0].text.strip())
outputs = [get_completion(conversation) for conversation in conversations]
context_scores = [evaluate_ordinal(output, conversation) for output, conversation in zip(outputs, conversations)]
print(f"Average Context Utilization Score: {sum(context_scores) / len(context_scores)}")
手動編寫數百個測試案例可能很困難！讓 Claude 幫助您從基準測試案例集生成更多案例。
如果您不知道哪些評估方法可能對評估您的成功標準有用，您也可以與 Claude 一起腦力激盪！
評分評估
在決定使用哪種方法來評分評估時，選擇最快、最可靠、最可擴展的方法：
-
基於代碼的評分：最快且最可靠，極具可擴展性，但對於需要較少基於規則的嚴格性的更複雜判斷缺乏細微差別。
- 精確匹配：
output == golden_answer - 字串匹配：
key_phrase in output
- 精確匹配：
-
人工評分：最靈活且高質量，但速度慢且成本高。如果可能，避免使用。
-
基於 LLM 的評分：快速且靈活，可擴展且適合複雜判斷。先測試以確保可靠性，然後再擴展。
基於 LLM 的評分技巧
- 有詳細、清晰的評分標準：“答案應該始終在第一句中提到 ‘Acme Inc.’。如果沒有，答案自動評為 ‘不正確’。”
一個特定用例，甚至該用例的特定成功標準，可能需要幾個評分標準進行全面評估。
- 實證或具體：例如，指示 LLM 只輸出 ‘正確’ 或 ‘不正確’，或從 1-5 的量表進行判斷。純粹定性的評估很難快速且大規模地評估。
- 鼓勵推理：要求 LLM 在決定評估分數之前先思考，然後丟棄推理過程。這提高了評估性能，特別是對於需要複雜判斷的任務。
import anthropic
def build_grader_prompt(answer, rubric):
return f"""Grade this answer based on the rubric:
<rubric>{rubric}</rubric>
<answer>{answer}</answer>
Think through your reasoning in <thinking> tags, then output 'correct' or 'incorrect' in <result> tags.""
def grade_completion(output, golden_answer):
grader_response = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=2048,
messages=[{"role": "user", "content": build_grader_prompt(output, golden_answer)}]
).content[0].text
return "correct" if "correct" in grader_response.lower() else "incorrect"
# 使用範例
eval_data = [
{"question": "42 是生命、宇宙以及一切的答案嗎？", "golden_answer": "是的，根據《銀河系漫遊指南》。"},
{"question": "法國的首都是什麼？", "golden_answer": "法國的首都是巴黎。"}
]
def get_completion(prompt: str):
message = client.messages.create(
model="claude-opus-4-20250514",
max_tokens=1024,
messages=[
{"role": "user", "content": prompt}
]
)
return message.content[0].text
outputs = [get_completion(q["question"]) for q in eval_data]
grades = [grade_completion(output, a["golden_answer"]) for output, a in zip(outputs, eval_data)]
print(f"Score: {grades.count('correct') / len(grades) * 100}%")