Questa guida si concentra sui criteri di successo che sono controllabili attraverso l’ingegneria dei prompt.
Non tutti i criteri di successo o le valutazioni fallite si risolvono al meglio con l’ingegneria dei prompt. Ad esempio, la latenza e i costi possono essere talvolta migliorati più facilmente selezionando un modello diverso.
L’ingegneria dei prompt è molto più veloce di altri metodi di controllo del comportamento del modello, come il finetuning, e può spesso portare a miglioramenti delle prestazioni in molto meno tempo. Ecco alcuni motivi per considerare l’ingegneria dei prompt rispetto al finetuning:
Efficienza delle risorse: Il fine-tuning richiede GPU di fascia alta e molta memoria, mentre l’ingegneria dei prompt necessita solo di input testuali, rendendola molto più efficiente in termini di risorse.
Efficacia dei costi: Per i servizi AI basati su cloud, il fine-tuning comporta costi significativi. L’ingegneria dei prompt usa il modello base, che è tipicamente più economico.
Mantenimento degli aggiornamenti del modello: Quando i provider aggiornano i modelli, le versioni sottoposte a fine-tuning potrebbero necessitare di riaddestramento. I prompt di solito funzionano tra le versioni senza modifiche.
Risparmio di tempo: Il fine-tuning può richiedere ore o addirittura giorni. Al contrario, l’ingegneria dei prompt fornisce risultati quasi istantanei, permettendo una rapida risoluzione dei problemi.
Necessità minime di dati: Il fine-tuning necessita di dati etichettati specifici per il compito sostanziali, che possono essere scarsi o costosi. L’ingegneria dei prompt funziona con few-shot o anche zero-shot learning.
Flessibilità e iterazione rapida: Prova rapidamente vari approcci, modifica i prompt e vedi risultati immediati. Questa rapida sperimentazione è difficile con il fine-tuning.
Adattamento al dominio: Adatta facilmente i modelli a nuovi domini fornendo contesto specifico del dominio nei prompt, senza riaddestramento.
Miglioramenti della comprensione: L’ingegneria dei prompt è molto più efficace del finetuning nell’aiutare i modelli a comprendere e utilizzare meglio i contenuti esterni come i documenti recuperati.
Preserva la conoscenza generale: Il fine-tuning rischia la dimenticanza catastrofica, dove il modello perde conoscenza generale. L’ingegneria dei prompt mantiene le ampie capacità del modello.
Trasparenza: I prompt sono leggibili dall’uomo, mostrando esattamente quali informazioni riceve il modello. Questa trasparenza aiuta nella comprensione e nel debugging.
Le pagine sull’ingegneria dei prompt in questa sezione sono state organizzate dalle tecniche più ampiamente efficaci a quelle più specializzate. Quando si risolvono problemi di prestazioni, suggeriamo di provare queste tecniche in ordine, anche se l’impatto effettivo di ciascuna tecnica dipenderà dal tuo caso d’uso.
