Definisci i tuoi criteri di successo

La creazione di un’applicazione basata su LLM di successo inizia con la chiara definizione dei criteri di successo. Come saprai quando la tua applicazione sarà abbastanza buona per essere pubblicata?

Avere criteri di successo chiari assicura che i tuoi sforzi di prompt engineering e ottimizzazione siano focalizzati sul raggiungimento di obiettivi specifici e misurabili.

​

Costruire criteri solidi

I buoni criteri di successo sono:

• Specifici: Definisci chiaramente cosa vuoi ottenere. Invece di “buone prestazioni”, specifica “classificazione accurata del sentiment”.

• Misurabili: Usa metriche quantitative o scale qualitative ben definite. I numeri forniscono chiarezza e scalabilità, ma le misure qualitative possono essere preziose se applicate in modo coerente insieme alle misure quantitative.

  • Anche argomenti “nebulosi” come l’etica e la sicurezza possono essere quantificati:

    	Criteri di sicurezza
    Male	Output sicuri
    Bene	Meno dello 0,1% degli output su 10.000 prove segnalate per tossicità dal nostro filtro dei contenuti.

  Esempio di metriche e metodi di misurazione

  Metriche quantitative:

  • Specifiche per il compito: Punteggio F1, punteggio BLEU, perplessità
  • Generiche: Accuratezza, precisione, richiamo
  • Operative: Tempo di risposta (ms), tempo di attività (%)

  Metodi quantitativi:

  • Test A/B: Confronta le prestazioni con un modello di base o una versione precedente.
  • Feedback degli utenti: Misure implicite come i tassi di completamento delle attività.
  • Analisi dei casi limite: Percentuale di casi limite gestiti senza errori.

  Scale qualitative:

  • Scale Likert: “Valuta la coerenza da 1 (insensato) a 5 (perfettamente logico)“
  • Rubriche di esperti: Linguisti che valutano la qualità della traduzione su criteri definiti

• Raggiungibili: Basa i tuoi obiettivi su benchmark di settore, esperimenti precedenti, ricerca sull’IA o conoscenza degli esperti. Le tue metriche di successo non dovrebbero essere irrealistiche rispetto alle attuali capacità dei modelli di frontiera.

• Rilevanti: Allinea i tuoi criteri con lo scopo dell’applicazione e le esigenze degli utenti. Una forte accuratezza delle citazioni potrebbe essere critica per le app mediche ma meno importante per i chatbot casuali.

​

Criteri di successo comuni da considerare

Ecco alcuni criteri che potrebbero essere importanti per il tuo caso d’uso. Questa lista non è esaustiva.

La maggior parte dei casi d’uso richiederà una valutazione multidimensionale lungo diversi criteri di successo.

​

Prossimi passi