Esta guía se centra en los criterios de éxito que se pueden controlar mediante la ingeniería de prompts.
No todos los criterios de éxito o evaluaciones fallidas se resuelven mejor mediante la ingeniería de prompts. Por ejemplo, la latencia y el costo a veces se pueden mejorar más fácilmente seleccionando un modelo diferente.
La ingeniería de prompts es mucho más rápida que otros métodos de control del comportamiento del modelo, como el finetuning, y a menudo puede producir saltos en el rendimiento en mucho menos tiempo. Aquí hay algunas razones para considerar la ingeniería de prompts sobre el finetuning:
Eficiencia de recursos: El finetuning requiere GPU de alta gama y gran memoria, mientras que la ingeniería de prompts solo necesita entrada de texto, lo que la hace mucho más amigable con los recursos.
Rentabilidad: Para los servicios de IA basados en la nube, el finetuning incurre en costos significativos. La ingeniería de prompts utiliza el modelo base, que suele ser más barato.
Mantener actualizaciones de modelos: Cuando los proveedores actualizan los modelos, es posible que las versiones con finetuning necesiten reentrenamiento. Los prompts generalmente funcionan en todas las versiones sin cambios.
Ahorro de tiempo: El finetuning puede llevar horas o incluso días. En contraste, la ingeniería de prompts proporciona resultados casi instantáneos, lo que permite una rápida resolución de problemas.
Necesidades mínimas de datos: El finetuning necesita datos sustanciales etiquetados y específicos de la tarea, que pueden ser escasos o costosos. La ingeniería de prompts funciona con aprendizaje de pocos ejemplos o incluso sin ejemplos.
Flexibilidad e iteración rápida: Prueba rápidamente varios enfoques, ajusta los prompts y ve los resultados inmediatos. Esta experimentación rápida es difícil con el finetuning.
Adaptación de dominio: Adapta fácilmente los modelos a nuevos dominios proporcionando contexto específico del dominio en los prompts, sin reentrenamiento.
Mejoras de comprensión: La ingeniería de prompts es mucho más efectiva que el finetuning para ayudar a los modelos a comprender y utilizar mejor el contenido externo, como los documentos recuperados.
Preserva el conocimiento general: El finetuning corre el riesgo de olvido catastrófico, donde el modelo pierde conocimiento general. La ingeniería de prompts mantiene las amplias capacidades del modelo.
Transparencia: Los prompts son legibles por humanos, mostrando exactamente qué información recibe el modelo. Esta transparencia ayuda a la comprensión y depuración.
Las páginas de ingeniería de prompts en esta sección se han organizado desde las técnicas más ampliamente efectivas hasta las técnicas más especializadas. Al solucionar problemas de rendimiento, sugerimos que pruebes estas técnicas en orden, aunque el impacto real de cada técnica dependerá de nuestro caso de uso.
