Lotes de Mensajes (beta)

La API de Lotes de Mensajes es una forma poderosa y rentable de procesar asincrónicamente grandes volúmenes de solicitudes de Mensajes. Este enfoque es adecuado para tareas que no requieren respuestas inmediatas, reduciendo los costos en un 50% mientras aumenta el rendimiento.

Puedes explorar la referencia de la API directamente, además de esta guía.

​

Cómo funciona la API de Lotes de Mensajes

Cuando envías una solicitud a la API de Lotes de Mensajes:

1. El sistema crea un nuevo Lote de Mensajes con las solicitudes de Mensajes proporcionadas.
2. El lote se procesa de forma asincrónica, con cada solicitud manejada independientemente.
3. Puedes sondear el estado del lote y recuperar los resultados cuando el procesamiento haya terminado para todas las solicitudes.

Esto es especialmente útil para operaciones masivas que no requieren resultados inmediatos, como:

• Evaluaciones a gran escala: Procesa miles de casos de prueba eficientemente.
• Moderación de contenido: Analiza grandes volúmenes de contenido generado por usuarios de forma asincrónica.
• Análisis de datos: Genera perspectivas o resúmenes para grandes conjuntos de datos.
• Generación masiva de contenido: Crea grandes cantidades de texto para varios propósitos (por ejemplo, descripciones de productos, resúmenes de artículos).

​

Limitaciones de lotes

• Un Lote de Mensajes está limitado a 10,000 solicitudes de Mensajes o 32 MB de tamaño, lo que se alcance primero.
• El lote tarda hasta 24 horas en generar respuestas, aunque el procesamiento puede terminar antes. Los resultados de tu lote no estarán disponibles hasta que termine el procesamiento del lote completo. Los lotes expirarán si el procesamiento no se completa dentro de las 24 horas.
• Los resultados del lote están disponibles durante 29 días después de su creación. Después de eso, aún podrás ver el Lote, pero sus resultados ya no estarán disponibles para descargar.
• Los lotes están limitados a un Espacio de trabajo. Puedes ver todos los lotes —y sus resultados— que fueron creados dentro del Espacio de trabajo al que pertenece tu clave API.
• Los límites de tasa se aplican a las solicitudes HTTP de la API de Lotes en lugar del número de solicitudes en un lote. Además, podemos ralentizar el procesamiento según la demanda actual y tu volumen de solicitudes. En ese caso, podrías ver más solicitudes expirando después de 24 horas.
• Debido al alto rendimiento y procesamiento concurrente, los lotes pueden exceder ligeramente el límite de gasto configurado de tu Espacio de trabajo.

​

Modelos soportados

La API de Lotes de Mensajes actualmente soporta:

• Claude 3.5 Sonnet
• Claude 3 Haiku
• Claude 3 Opus

​

Qué se puede procesar en lotes

Cualquier solicitud que puedas hacer a la API de Mensajes puede incluirse en un lote. Esto incluye:

• Visión
• Uso de herramientas
• Mensajes del sistema
• Conversaciones de múltiples turnos
• Cualquier función beta

Dado que cada solicitud en el lote se procesa independientemente, puedes mezclar diferentes tipos de solicitudes dentro de un solo lote.

​

Precios

La API de Lotes ofrece ahorros significativos en costos. Todo el uso se cobra al 50% de los precios estándar de la API.

​

Cómo usar la API de Lotes de Mensajes

​

Preparar y crear tu lote

Un Lote de Mensajes está compuesto por una lista de solicitudes para crear un Mensaje. La forma de una solicitud individual comprende:

• Un custom_id único para identificar la solicitud de Mensajes
• Un objeto params con los parámetros estándar de la API de Mensajes

Puedes crear un lote pasando esta lista al parámetro requests:

En este ejemplo, dos solicitudes separadas se procesan en lote para procesamiento asincrónico. Cada solicitud tiene un custom_id único y contiene los parámetros estándar que usarías para una llamada a la API de Mensajes.

Cuando se crea un lote por primera vez, la respuesta tendrá un estado de procesamiento de in_progress.

{
  "id": "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 2,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2024-09-24T18:37:24.100435Z",
  "expires_at": "2024-09-25T18:37:24.100435Z",
  "cancel_initiated_at": null,
  "results_url": null
}

[Continúa en la siguiente parte…]