Questa guida si concentra sui criteri di successo che sono controllabili attraverso l’ingegneria dei prompt.
Non ogni criterio di successo o valutazione fallita è meglio risolto con l’ingegneria dei prompt. Ad esempio, la latenza e il costo possono essere a volte migliorati più facilmente selezionando un modello diverso.
L’ingegneria dei prompt è molto più veloce di altri metodi di controllo del comportamento del modello, come il finetuning, e può spesso produrre balzi nelle prestazioni in molto meno tempo. Ecco alcune ragioni per considerare l’ingegneria dei prompt rispetto al finetuning:
Efficienza delle risorse: Il fine-tuning richiede GPU di fascia alta e molta memoria, mentre l’ingegneria dei prompt richiede solo input di testo, rendendola molto più efficiente in termini di risorse.
Convenienza: Per i servizi AI basati su cloud, il fine-tuning comporta costi significativi. L’ingegneria dei prompt utilizza il modello di base, che è tipicamente più economico.
Mantenimento degli aggiornamenti del modello: Quando i provider aggiornano i modelli, le versioni con fine-tuning potrebbero richiedere un nuovo addestramento. I prompt di solito funzionano tra le versioni senza modifiche.
Risparmio di tempo: Il fine-tuning può richiedere ore o anche giorni. Al contrario, l’ingegneria dei prompt fornisce risultati quasi istantanei, consentendo una rapida risoluzione dei problemi.
Esigenze minime di dati: Il fine-tuning richiede dati sostanziali, etichettati e specifici per l’attività, che possono essere scarsi o costosi. L’ingegneria dei prompt funziona con l’apprendimento few-shot o anche zero-shot.
Flessibilità e rapida iterazione: Prova rapidamente vari approcci, modifica i prompt e vedi risultati immediati. Questa rapida sperimentazione è difficile con il fine-tuning.
Adattamento al dominio: Adatta facilmente i modelli a nuovi domini fornendo contesto specifico del dominio nei prompt, senza riaddestrare.
Miglioramenti della comprensione: L’ingegneria dei prompt è molto più efficace del finetuning nell’aiutare i modelli a comprendere e utilizzare meglio i contenuti esterni come i documenti recuperati
Preserva la conoscenza generale: Il fine-tuning rischia un oblio catastrofico, in cui il modello perde la conoscenza generale. L’ingegneria dei prompt mantiene le ampie capacità del modello.
Trasparenza: I prompt sono leggibili dall’uomo, mostrando esattamente quali informazioni riceve il modello. Questa trasparenza aiuta nella comprensione e nel debugging.
Le pagine sull’ingegneria dei prompt in questa sezione sono state organizzate dalle tecniche più ampiamente efficaci a quelle più specializzate. Quando si risolve un problema di prestazioni, suggeriamo di provare queste tecniche in ordine, anche se l’impatto effettivo di ogni tecnica dipenderà dal nostro caso d’uso.
