Usando la Herramienta de Evaluación
La Consola de Anthropic cuenta con una Herramienta de Evaluación que te permite probar tus prompts bajo varios escenarios.
Accediendo a la Función de Evaluación
Para empezar con la Herramienta de Evaluación:
- Abre la Consola de Anthropic y navega al editor de prompts.
- Después de componer tu prompt, busca la pestaña ‘Evaluate’ en la parte superior de la pantalla.
Asegúrate de que tu prompt incluya al menos 1-2 variables dinámicas usando la sintaxis de doble llave: {{variable}}. Esto es necesario para crear conjuntos de pruebas de evaluación.
Generando Prompts
La Consola ofrece un generador de prompts integrado impulsado por Claude 3.5 Sonnet:
Haz clic en 'Generate Prompt'
Al hacer clic en la herramienta auxiliar ‘Generate Prompt’ se abrirá una ventana modal que te permite ingresar la información de tu tarea.
Describe tu tarea
Describe la tarea deseada (por ejemplo, “Clasificar solicitudes entrantes de atención al cliente”) con tantos o tan pocos detalles como desees. Cuanto más contexto incluyas, más podrá Claude adaptar su prompt generado a tus necesidades específicas.
Genera tu prompt
Al hacer clic en el botón naranja ‘Generate Prompt’ en la parte inferior, Claude generará un prompt de alta calidad para ti. Luego puedes mejorar aún más esos prompts usando la pantalla de Evaluación en la Consola.
Esta función facilita la creación de prompts con la sintaxis de variables adecuada para la evaluación.
Creando Casos de Prueba
Cuando accedes a la pantalla de Evaluación, tienes varias opciones para crear casos de prueba:
- Haz clic en el botón ’+ Add Row’ en la parte inferior izquierda para agregar manualmente un caso.
- Usa la función ‘Generate Test Case’ para que Claude genere automáticamente casos de prueba para ti.
- Importa casos de prueba desde un archivo CSV.
Para usar la función ‘Generate Test Case’:
Haz clic en 'Generate Test Case'
Claude generará casos de prueba para ti, una fila a la vez por cada vez que hagas clic en el botón.
Edita la lógica de generación (opcional)
También puedes editar la lógica de generación de casos de prueba haciendo clic en la flecha desplegable a la derecha del botón ‘Generate Test Case’, luego en ‘Show generation logic’ en la parte superior de la ventana de Variables que aparece. Es posible que tengas que hacer clic en ‘Generate’ en la parte superior derecha de esta ventana para generar la lógica de generación inicial.
Editar esto te permite personalizar y ajustar con mayor precisión y especificidad los casos de prueba que genera Claude.
Aquí hay un ejemplo de una pantalla de Evaluación poblada con varios casos de prueba:
Si actualizas el texto de tu prompt original, puedes volver a ejecutar todo el conjunto de evaluaciones con el nuevo prompt para ver cómo los cambios afectan el rendimiento en todos los casos de prueba.
Consejos para una Evaluación Efectiva
Usa la herramienta auxiliar ‘Generate a prompt’ en la Consola para crear rápidamente prompts con la sintaxis de variables adecuada para la evaluación.
Entendiendo y comparando resultados
La Herramienta de Evaluación ofrece varias funciones para ayudarte a refinar tus prompts:
- Comparación lado a lado: Compara las salidas de dos o más prompts para ver rápidamente el impacto de tus cambios.
- Calificación de calidad: Califica la calidad de la respuesta en una escala de 5 puntos para rastrear las mejoras en la calidad de la respuesta por prompt.
- Versiones de prompt: Crea nuevas versiones de tu prompt y vuelve a ejecutar el conjunto de pruebas para iterar y mejorar los resultados rápidamente.
Al revisar los resultados en los casos de prueba y comparar diferentes versiones de prompts, puedes detectar patrones y hacer ajustes informados a tu prompt de manera más eficiente.
¡Comienza a evaluar tus prompts hoy para construir aplicaciones de IA más robustas con Claude!