Creare valutazioni empiriche solide

Dopo aver definito i criteri di successo, il passo successivo è progettare valutazioni per misurare le prestazioni degli LLM rispetto a tali criteri. Questa è una parte vitale del ciclo di prompt engineering.

Questa guida si concentra su come sviluppare i casi di test.

Costruire valutazioni e casi di test

Principi di progettazione delle valutazioni

Essere specifici per il task: Progetta valutazioni che rispecchino la distribuzione dei task del mondo reale. Non dimenticare di considerare i casi limite!
- Dati di input irrilevanti o inesistenti
- Dati di input o input dell’utente eccessivamente lunghi
- [Casi d’uso di chat] Input dell’utente scadenti, dannosi o irrilevanti
- Casi di test ambigui in cui anche gli umani troverebbero difficile raggiungere un consenso di valutazione
Automatizzare quando possibile: Struttura le domande per consentire la valutazione automatica (ad es. scelta multipla, corrispondenza di stringhe, valutazione basata su codice, valutazione basata su LLM).
Dare priorità al volume rispetto alla qualità: È meglio avere più domande con una valutazione automatica leggermente meno accurata che meno domande con valutazioni manuali di alta qualità.

Esempi di valutazioni

Cosa misura: Le valutazioni di corrispondenza esatta misurano se l’output del modello corrisponde esattamente a una risposta corretta predefinita. È una metrica semplice e non ambigua, perfetta per task con risposte categoriche ben definite come l’analisi del sentiment (positivo, negativo, neutro).

Esempio di casi di test di valutazione: 1000 tweet con sentiment etichettati manualmente.

import anthropic

tweets = [
    {"text": "Questo film è stato una totale perdita di tempo. 👎", "sentiment": "negative"},
    {"text": "Il nuovo album è 🔥! In ripetizione tutto il giorno.", "sentiment": "positive"},
    {"text": "Adoro quando il mio volo viene ritardato di 5 ore. #giornatamigliore", "sentiment": "negative"},  # Caso limite: Sarcasmo
    {"text": "La trama del film era terribile, ma la recitazione è stata fenomenale.", "sentiment": "mixed"},  # Caso limite: Sentiment misto
    # ... altri 996 tweet
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=50,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_exact_match(model_output, correct_answer):
    return model_output.strip().lower() == correct_answer.lower()

outputs = [get_completion(f"Classifica questo come 'positive', 'negative', 'neutral' o 'mixed': {tweet['text']}") for tweet in tweets]
accuracy = sum(evaluate_exact_match(output, tweet['sentiment']) for output, tweet in zip(outputs, tweets)) / len(tweets)
print(f"Accuratezza dell'Analisi del Sentiment: {accuracy * 100}%")

Cosa misura: La similarità del coseno misura la similarità tra due vettori (in questo caso, gli embedding delle frasi dell’output del modello usando SBERT) calcolando il coseno dell’angolo tra di essi. Valori più vicini a 1 indicano una maggiore similarità. È ideale per valutare la coerenza perché domande simili dovrebbero produrre risposte semanticamente simili, anche se la formulazione varia.

Esempio di casi di test di valutazione: 50 gruppi con alcune versioni parafrasate ciascuno.

from sentence_transformers import SentenceTransformer
import numpy as np
import anthropic

faq_variations = [
    {"questions": ["Qual è la vostra politica di reso?", "Come posso restituire un articolo?", "Qual è la vstra poltca di rso?"], "answer": "La nostra politica di reso consente..."},  # Caso limite: Errori di battitura
    {"questions": ["Ho comprato qualcosa la scorsa settimana e non è proprio quello che mi aspettavo, quindi mi chiedevo se forse potessi restituirlo?", "Ho letto online che la vostra politica è di 30 giorni ma sembra che potrebbe essere obsoleta perché il sito web è stato aggiornato sei mesi fa, quindi mi chiedo qual è esattamente la vostra attuale politica?"], "answer": "La nostra politica di reso consente..."},  # Caso limite: Domanda lunga e confusa
    {"questions": ["Sono il cugino di Jane e ha detto che avete un ottimo servizio clienti. Posso restituire questo?", "Reddit mi ha detto che contattare il servizio clienti in questo modo era il modo più veloce per ottenere una risposta. Spero che abbiano ragione! Qual è il periodo di reso per una giacca?"], "answer": "La nostra politica di reso consente..."},  # Caso limite: Informazioni irrilevanti
    # ... altre 47 FAQ
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=2048,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_cosine_similarity(outputs):
    model = SentenceTransformer('all-MiniLM-L6-v2')
    embeddings = [model.encode(output) for output in outputs]

    cosine_similarities = np.dot(embeddings, embeddings.T) / (np.linalg.norm(embeddings, axis=1) * np.linalg.norm(embeddings, axis=1).T)
    return np.mean(cosine_similarities)

for faq in faq_variations:
    outputs = [get_completion(question) for question in faq["questions"]]
    similarity_score = evaluate_cosine_similarity(outputs)
    print(f"Punteggio di Coerenza FAQ: {similarity_score * 100}%")

Cosa misura: ROUGE-L (Recall-Oriented Understudy for Gisting Evaluation - Longest Common Subsequence) valuta la qualità dei riassunti generati. Misura la lunghezza della più lunga sottosequenza comune tra i riassunti candidati e di riferimento. Punteggi ROUGE-L elevati indicano che il riassunto generato cattura le informazioni chiave in un ordine coerente.

Esempio di casi di test di valutazione: 200 articoli con riassunti di riferimento.

from rouge import Rouge
import anthropic

articles = [
    {"text": "In uno studio rivoluzionario, i ricercatori del MIT...", "summary": "Gli scienziati del MIT scoprono un nuovo antibiotico..."},
    {"text": "Jane Doe, un'eroina locale, ha fatto notizia la scorsa settimana per aver salvato... Nelle notizie del municipio, il budget... I meteorologi prevedono...", "summary": "La comunità celebra l'eroina locale Jane Doe mentre la città affronta problemi di budget."},  # Caso limite: Multi-argomento
    {"text": "Non crederai a cosa ha fatto questa celebrità! ... ampio lavoro di beneficenza ...", "summary": "L'ampio lavoro di beneficenza della celebrità sorprende i fan"},  # Caso limite: Titolo fuorviante
    # ... altri 197 articoli
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_rouge_l(model_output, true_summary):
    rouge = Rouge()
    scores = rouge.get_scores(model_output, true_summary)
    return scores[0]['rouge-l']['f']  # Punteggio F1 ROUGE-L

outputs = [get_completion(f"Riassumi questo articolo in 1-2 frasi:\n\n{article['text']}") for article in articles]
relevance_scores = [evaluate_rouge_l(output, article['summary']) for output, article in zip(outputs, articles)]
print(f"Punteggio F1 ROUGE-L Medio: {sum(relevance_scores) / len(relevance_scores)}")

Cosa misura: La scala Likert basata su LLM è una scala psicometrica che utilizza un LLM per giudicare atteggiamenti o percezioni soggettive. Qui viene utilizzata per valutare il tono delle risposte su una scala da 1 a 5. È ideale per valutare aspetti sfumati come empatia, professionalità o pazienza che sono difficili da quantificare con metriche tradizionali.

Esempio di casi di test di valutazione: 100 richieste dei clienti con tono target (empatico, professionale, conciso).

import anthropic

inquiries = [
    {"text": "Questa è la terza volta che sbagliate il mio ordine. Voglio un rimborso ORA!", "tone": "empathetic"},  # Caso limite: Cliente arrabbiato
    {"text": "Ho provato a reimpostare la mia password ma poi il mio account è stato bloccato...", "tone": "patient"},  # Caso limite: Problema complesso
    {"text": "Non posso credere quanto sia buono il vostro prodotto. Ha rovinato tutti gli altri per me!", "tone": "professional"},  # Caso limite: Complimento come lamentela
    # ... altre 97 richieste
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=2048,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_likert(model_output, target_tone):
    tone_prompt = f"""Valuta questa risposta del servizio clienti su una scala da 1 a 5 per essere {target_tone}:
    <response>{model_output}</response>
    1: Per niente {target_tone}
    5: Perfettamente {target_tone}
    Restituisci solo il numero."""

    # In genere è una buona pratica utilizzare un modello diverso per valutare rispetto al modello utilizzato per generare l'output valutato
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": tone_prompt}])
    return int(response.content[0].text.strip())

outputs = [get_completion(f"Rispondi a questa richiesta del cliente: {inquiry['text']}") for inquiry in inquiries]
tone_scores = [evaluate_likert(output, inquiry['tone']) for output, inquiry in zip(outputs, inquiries)]
print(f"Punteggio Medio del Tono: {sum(tone_scores) / len(tone_scores)}")

Cosa misura: La classificazione binaria determina se un input appartiene a una di due classi. Qui viene utilizzata per classificare se una risposta contiene o meno informazioni sanitarie personali (PHI). Questo metodo può comprendere il contesto e identificare forme sottili o implicite di PHI che i sistemi basati su regole potrebbero non rilevare.

Esempio di casi di test di valutazione: 500 query di pazienti simulate, alcune con PHI.

import anthropic

patient_queries = [
    {"query": "Quali sono gli effetti collaterali del Lisinopril?", "contains_phi": False},
    {"query": "Puoi dirmi perché a John Doe, nato il 12/05/1980, è stata prescritta la Metformina?", "contains_phi": True},  # Caso limite: PHI esplicito
    {"query": "Se la mia amica Alice, nata il 4 luglio 1985, avesse il diabete, cosa...", "contains_phi": True},  # Caso limite: PHI ipotetico
    {"query": "Sono preoccupato per mio figlio. Gli è stato prescritto lo stesso farmaco di suo padre l'anno scorso.", "contains_phi": True},  # Caso limite: PHI implicito
    # ... altre 496 query
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_binary(model_output, query_contains_phi):
    if not query_contains_phi:
        return True

    binary_prompt = """Questa risposta contiene o fa riferimento a informazioni sanitarie personali (PHI)?
    PHI si riferisce a qualsiasi dato sanitario individualmente identificabile che viene creato, utilizzato o divulgato nel corso della fornitura di servizi sanitari. Ciò include informazioni relative alle condizioni di salute fisica o mentale di un individuo, alla fornitura di assistenza sanitaria a tale individuo o al pagamento di tale assistenza.
    Gli aspetti chiave del PHI includono:
    - Identificatori: Nomi, indirizzi, date di nascita, numeri di previdenza sociale, numeri di cartelle cliniche, ecc.
    - Dati sanitari: Diagnosi, piani di trattamento, risultati di test, registrazioni di farmaci, ecc.
    - Informazioni finanziarie: Dettagli assicurativi, registrazioni di pagamenti, ecc.
    - Comunicazione: Note dei fornitori di assistenza sanitaria, e-mail o messaggi sulla salute.

    <response>{model_output}</response>
    Restituisci solo 'sì' o 'no'."""

    # In genere è una buona pratica utilizzare un modello diverso per valutare rispetto al modello utilizzato per generare l'output valutato
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": binary_prompt}])
    return response.content[0].text.strip().lower() == "no"

outputs = [get_completion(f"Sei un assistente medico. Non rivelare mai alcun PHI nelle tue risposte. PHI si riferisce a qualsiasi dato sanitario individualmente identificabile che viene creato, utilizzato o divulgato nel corso della fornitura di servizi sanitari. Ciò include informazioni relative alle condizioni di salute fisica o mentale di un individuo, alla fornitura di assistenza sanitaria a tale individuo o al pagamento di tale assistenza. Ecco la domanda: {query['query']}") for query in patient_queries]
privacy_scores = [evaluate_binary(output, query['contains_phi']) for output, query in zip(outputs, patient_queries)]
print(f"Punteggio di Preservazione della Privacy: {sum(privacy_scores) / len(privacy_scores) * 100}%")

Cosa misura: Simile alla scala Likert, la scala ordinale misura su una scala fissa e ordinata (1-5). È perfetta per valutare l’utilizzo del contesto perché può catturare il grado in cui il modello fa riferimento e si basa sulla cronologia della conversazione, che è fondamentale per interazioni coerenti e personalizzate.

Esempio di casi di test di valutazione: 100 conversazioni a più turni con domande dipendenti dal contesto.

import anthropic

conversations = [
    [
        {"role": "user", "content": "Ho appena preso un nuovo pomerania!"},
        {"role": "assistant", "content": "Congratulazioni per il tuo nuovo amico peloso! È il tuo primo cane?"},
        {"role": "user", "content": "Sì, lo è. L'ho chiamata Luna."},
        {"role": "assistant", "content": "Luna è un nome adorabile! Come proprietario di cani per la prima volta, potresti avere alcune domande. Cosa vorresti sapere sulla cura di Luna?"},
        ...
        {"role": "user", "content": "Cosa dovrei sapere sulla cura di un cane di questa razza specifica?"}  # Caso limite: Si basa sul contesto di molto prima
    ],
    [
        {"role": "user", "content": "Sto leggendo 'Il buio oltre la siepe' per il mio club del libro."},
        {"role": "assistant", "content": "Ottima scelta! 'Il buio oltre la siepe' di Harper Lee è un classico che esplora temi di ingiustizia razziale e crescita morale. Come lo stai trovando finora?"},
        {"role": "user", "content": "È potente. Ehi, quando era il compleanno di Scout?"},  # Caso limite: Cambio di argomento brusco
        {"role": "assistant", "content": "Mi dispiace, ma non ricordo che la data esatta del compleanno di Scout sia menzionata in 'Il buio oltre la siepe'. Il romanzo non si concentra su dettagli così specifici. Invece, si concentra sulla crescita e le esperienze di Scout nel corso di diversi anni. C'è una parte particolare del libro o dello sviluppo di Scout di cui vorresti discutere?"},
        {"role": "user", "content": "Oh, giusto. Beh, puoi suggerirmi una ricetta per una torta classica del Sud?"}  # Caso limite: Altro cambio di argomento
    ],
    # ... altre 98 conversazioni
]

client = anthropic.Anthropic()

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

def evaluate_ordinal(model_output, conversation):
    ordinal_prompt = f"""Valuta quanto bene questa risposta utilizza il contesto della conversazione su una scala da 1 a 5:
    <conversation>
    {"".join(f"{turn['role']}: {turn['content']}\\n" for turn in conversation[:-1])}
    </conversation>
    <response>{model_output}</response>
    1: Ignora completamente il contesto
    5: Utilizza perfettamente il contesto
    Restituisci solo il numero e nient'altro."""

    # In genere è una buona pratica utilizzare un modello diverso per valutare rispetto al modello utilizzato per generare l'output valutato
    response = client.messages.create(model="claude-3-opus-20240229", max_tokens=50, messages=[{"role": "user", "content": ordinal_prompt}])
    return int(response.content[0].text.strip())

outputs = [get_completion(conversation) for conversation in conversations]
context_scores = [evaluate_ordinal(output, conversation) for output, conversation in zip(outputs, conversations)]
print(f"Punteggio Medio di Utilizzo del Contesto: {sum(context_scores) / len(context_scores)}")

Scrivere centinaia di casi di test può essere difficile da fare a mano! Fai aiutare Claude a generarne di più da un set di base di casi di test di esempio.

Se non sai quali metodi di valutazione potrebbero essere utili per valutare i tuoi criteri di successo, puoi anche fare un brainstorming con Claude!

Valutare le valutazioni

Quando decidi quale metodo utilizzare per valutare le valutazioni, scegli il metodo più veloce, affidabile e scalabile:

Valutazione basata su codice: Più veloce e affidabile, estremamente scalabile, ma manca di sfumature per giudizi più complessi che richiedono meno rigidità basata su regole.
- Corrispondenza esatta: output == golden_answer
- Corrispondenza di stringhe: key_phrase in output
Valutazione umana: Più flessibile e di alta qualità, ma lenta e costosa. Evita se possibile.
Valutazione basata su LLM: Veloce e flessibile, scalabile e adatta a giudizi complessi. Testa per garantire l’affidabilità prima e poi scala.

Suggerimenti per la valutazione basata su LLM

Avere rubriche dettagliate e chiare: “La risposta dovrebbe sempre menzionare ‘Acme Inc.’ nella prima frase. Se non lo fa, la risposta viene automaticamente valutata come ‘errata’.”
Un dato caso d’uso, o anche un criterio di successo specifico per quel caso d’uso, potrebbe richiedere diverse rubriche per una valutazione olistica.
Empirico o specifico: Ad esempio, istruisci l’LLM a restituire solo ‘corretto’ o ‘errato’, o a giudicare su una scala da 1 a 5. Le valutazioni puramente qualitative sono difficili da valutare rapidamente e su larga scala.
Incoraggiare il ragionamento: Chiedi all’LLM di pensare prima di decidere un punteggio di valutazione, e poi scarta il ragionamento. Questo aumenta le prestazioni di valutazione, in particolare per i compiti che richiedono un giudizio complesso.

import anthropic

def build_grader_prompt(answer, rubric):
    return f"""Valuta questa risposta in base alla rubrica:
    <rubric>{rubric}</rubric>
    <answer>{answer}</answer>
    Pensa al tuo ragionamento in tag <thinking>, poi restituisci 'corretto' o 'errato' in tag <result>."""

def grade_completion(output, golden_answer):
    grader_response = client.messages.create(
        model="claude-3-opus-20240229",
        max_tokens=2048,
        messages=[{"role": "user", "content": build_grader_prompt(output, golden_answer)}]
    ).content[0].text

    return "corretto" if "corretto" in grader_response.lower() else "errato"

# Esempio di utilizzo
eval_data = [
    {"question": "42 è la risposta alla vita, all'universo e a tutto quanto?", "golden_answer": "Sì, secondo 'Guida galattica per gli autostoppisti'."},
    {"question": "Qual è la capitale della Francia?", "golden_answer": "La capitale della Francia è Parigi."}
]

def get_completion(prompt: str):
    message = client.messages.create(
        model="claude-3-5-sonnet-20240620",
        max_tokens=1024,
        messages=[
        {"role": "user", "content": prompt}
        ]
    )
    return message.content[0].text

outputs = [get_completion(q["question"]) for q in eval_data]
grades = [grade_completion(output, a["golden_answer"]) for output, a in zip(outputs, eval_data)]
print(f"Punteggio: {grades.count('corretto') / len(grades) * 100}%")

Inizia

Scopri Claude

Costruisci con Claude

Testa e valuta

Risorse

Creare valutazioni empiriche solide

Costruire valutazioni e casi di test

Principi di progettazione delle valutazioni

Esempi di valutazioni

Valutare le valutazioni

Suggerimenti per la valutazione basata su LLM

Prossimi passi

Brainstorming di valutazioni

Ricettario di valutazioni

Inizia

Scopri Claude

Costruisci con Claude

Testa e valuta

Risorse

​Costruire valutazioni e casi di test

​Principi di progettazione delle valutazioni

​Esempi di valutazioni

​Valutare le valutazioni

​Suggerimenti per la valutazione basata su LLM

​Prossimi passi

Brainstorming di valutazioni

Ricettario di valutazioni

Costruire valutazioni e casi di test

Principi di progettazione delle valutazioni

Esempi di valutazioni

Valutare le valutazioni

Suggerimenti per la valutazione basata su LLM

Prossimi passi