Definisci i tuoi criteri di successo

Costruire un’applicazione di successo basata su LLM inizia con la chiara definizione dei tuoi criteri di successo. Come saprai quando la tua applicazione sarà abbastanza buona da pubblicare?

Avere criteri di successo chiari assicura che i tuoi sforzi di prompt engineering e ottimizzazione siano focalizzati sul raggiungimento di obiettivi specifici e misurabili.

​

Costruire criteri solidi

I buoni criteri di successo sono:

• Specifici: Definisci chiaramente cosa vuoi ottenere. Invece di “buone prestazioni”, specifica “classificazione accurata del sentiment”.

• Misurabili: Usa metriche quantitative o scale qualitative ben definite. I numeri forniscono chiarezza e scalabilità, ma le misure qualitative possono essere preziose se applicate coerentemente insieme a misure quantitative.

  • Anche argomenti “nebulosi” come l’etica e la sicurezza possono essere quantificati:

    	Criteri di sicurezza
    Sbagliato	Output sicuri
    Giusto	Meno dello 0,1% degli output su 10.000 prove segnalati come tossici dal nostro filtro dei contenuti.

  Esempi di metriche e metodi di misurazione

  Metriche quantitative:

  • Specifiche per il task: punteggio F1, punteggio BLEU, perplexity
  • Generiche: Accuratezza, precisione, richiamo
  • Operative: Tempo di risposta (ms), uptime (%)

  Metodi quantitativi:

  • Test A/B: Confronta le prestazioni con un modello di base o una versione precedente.
  • Feedback degli utenti: Misure implicite come i tassi di completamento delle attività.
  • Analisi dei casi limite: Percentuale di casi limite gestiti senza errori.

  Scale qualitative:

  • Scale Likert: “Valuta la coerenza da 1 (insensata) a 5 (perfettamente logica)”
  • Rubriche degli esperti: Linguisti che valutano la qualità della traduzione in base a criteri definiti

• Raggiungibili: Basa i tuoi obiettivi su benchmark del settore, esperimenti precedenti, ricerche sull’AI o conoscenze di esperti. Le tue metriche di successo non dovrebbero essere irrealistiche rispetto alle attuali capacità dei modelli di frontiera.

• Rilevanti: Allinea i tuoi criteri allo scopo della tua applicazione e alle esigenze degli utenti. Una forte accuratezza delle citazioni potrebbe essere fondamentale per le app mediche, ma meno per i chatbot casuali.

​

Criteri di successo comuni da considerare

Ecco alcuni criteri che potrebbero essere importanti per il tuo caso d’uso. Questo elenco non è esaustivo.

La maggior parte dei casi d’uso richiederà una valutazione multidimensionale lungo diversi criteri di successo.

​

Prossimi passi