Пакетная обработка сообщений (бета)

API пакетной обработки сообщений - это мощный и экономичный способ асинхронной обработки больших объемов запросов Messages. Этот подход хорошо подходит для задач, не требующих немедленного ответа, снижая затраты на 50% при увеличении пропускной способности.

Вы можете изучить справочник API напрямую в дополнение к этому руководству.

​

Как работает API пакетной обработки сообщений

Когда вы отправляете запрос в API пакетной обработки сообщений:

1. Система создает новый пакет сообщений с предоставленными запросами Messages.
2. Затем пакет обрабатывается асинхронно, каждый запрос обрабатывается независимо.
3. Вы можете опрашивать статус пакета и получать результаты после завершения обработки всех запросов.

Это особенно полезно для массовых операций, не требующих немедленных результатов, таких как:

• Масштабные оценки: Эффективная обработка тысяч тестовых случаев.
• Модерация контента: Асинхронный анализ больших объемов пользовательского контента.
• Анализ данных: Генерация выводов или сводок для больших наборов данных.
• Массовая генерация контента: Создание большого количества текста для различных целей (например, описания продуктов, краткие изложения статей).

​

Ограничения пакетов

• Пакет сообщений ограничен либо 10 000 запросами Message, либо размером 32 МБ, в зависимости от того, что будет достигнуто первым.
• Обработка пакета занимает до 24 часов, хотя может завершиться и раньше. Результаты вашего пакета не будут доступны до завершения обработки всего пакета. Пакеты истекают, если обработка не завершается в течение 24 часов.
• Результаты пакетов доступны в течение 29 дней после создания. После этого вы все еще можете просматривать пакет, но его результаты больше не будут доступны для загрузки.
• Пакеты привязаны к Рабочему пространству. Вы можете просматривать все пакеты и их результаты, созданные в рабочем пространстве, к которому принадлежит ваш API-ключ.
• Ограничения скорости применяются к HTTP-запросам API пакетов, а не к количеству запросов в пакете. Кроме того, мы можем замедлить обработку в зависимости от текущего спроса и объема ваших запросов. В этом случае вы можете увидеть больше запросов, истекающих через 24 часа.
• Из-за высокой пропускной способности и параллельной обработки пакеты могут немного превысить настроенный лимит расходов вашего рабочего пространства.

​

Поддерживаемые модели

API пакетной обработки сообщений в настоящее время поддерживает:

• Claude 3.5 Sonnet (claude-3-5-sonnet-20240620 и claude-3-5-sonnet-20241022)
• Claude 3.5 Haiku (claude-3-5-haiku-20241022)
• Claude 3 Haiku (claude-3-haiku-20240307)
• Claude 3 Opus (claude-3-opus-20240229)

​

Что можно обрабатывать пакетно

Любой запрос, который вы можете сделать к API Messages, может быть включен в пакет. Это включает:

• Зрение
• Использование инструментов
• Системные сообщения
• Многоходовые разговоры
• Любые бета-функции

Поскольку каждый запрос в пакете обрабатывается независимо, вы можете смешивать различные типы запросов в одном пакете.

​

Ценообразование

API пакетной обработки предлагает значительную экономию средств. Все использование тарифицируется по 50% от стандартных цен API.

​

Как использовать API пакетной обработки сообщений

​

Подготовка и создание пакета

Пакет сообщений состоит из списка запросов на создание сообщения. Форма отдельного запроса включает:

• Уникальный custom_id для идентификации запроса Messages
• Объект params со стандартными параметрами API Messages

Вы можете создать пакет, передав этот список в параметр requests:

В этом примере два отдельных запроса объединены в пакет для асинхронной обработки. Каждый запрос имеет уникальный custom_id и содержит стандартные параметры, которые вы бы использовали для вызова API Messages.

Когда пакет впервые создается, ответ будет иметь статус обработки in_progress.

{
  "id": "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 2,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2024-09-24T18:37:24.100435Z",
  "expires_at": "2024-09-25T18:37:24.100435Z",
  "cancel_initiated_at": null,
  "results_url": null
}

​

Отслеживание вашего пакета

Поле processing_status пакета сообщений указывает на этап обработки пакета. Он начинается как in_progress, затем обновляется до ended, когда все запросы в пакете завершили обработку и результаты готовы. Вы можете отслеживать состояние вашего пакета, посетив Консоль или используя конечную точку получения:

Вы можете опрашивать эту конечную точку, чтобы узнать, когда обработка завершилась.

​

Получение результатов пакета

После завершения обработки пакета каждый запрос Messages в пакете будет иметь результат. Существует 4 типа результатов:

Вы увидите обзор ваших результатов с помощью request_counts пакета, который показывает, сколько запросов достигло каждого из этих четырех состояний.

Результаты пакета доступны для загрузки как в Консоли, так и по results_url в пакете сообщений. Из-за потенциально большого размера результатов рекомендуется потоковая передача результатов, а не загружать их все сразу.

Результаты будут в формате .jsonl, где каждая строка представляет собой действительный JSON-объект, представляющий результат одного запроса в пакете сообщений. Для каждого потокового результата вы можете выполнить различные действия в зависимости от его custom_id и типа результата. Вот пример набора результатов:

{"custom_id":"my-second-request","result":{"type":"succeeded","message":{"id":"msg_014VwiXbi91y3JMjcpyGBHX5","type":"message","role":"assistant","model":"claude-3-5-sonnet-20241022","content":[{"type":"text","text":"Hello again! It's nice to see you. How can I assist you today? Is there anything specific you'd like to chat about or any questions you have?"}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":11,"output_tokens":36}}}}
{"custom_id":"my-first-request","result":{"type":"succeeded","message":{"id":"msg_01FqfsLoHwgeFbguDgpz48m7","type":"message","role":"assistant","model":"claude-3-5-sonnet-20241022","content":[{"type":"text","text":"Hello! How can I assist you today? Feel free to ask me any questions or let me know if there's anything you'd like to chat about."}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":10,"output_tokens":34}}}}

Если ваш результат содержит ошибку, его result.error будет установлен в нашу стандартную форму ошибки.

​

Лучшие практики для эффективной пакетной обработки

Чтобы максимально эффективно использовать API пакетной обработки:

• Регулярно отслеживайте статус обработки пакета и реализуйте соответствующую логику повторных попыток для неудачных запросов.
• Используйте значимые значения custom_id для легкого сопоставления результатов с запросами, так как порядок не гарантируется.
• Рассмотрите возможность разбиения очень больших наборов данных на несколько пакетов для лучшей управляемости.
• Выполните пробный запуск одной формы запроса с API Messages, чтобы избежать ошибок валидации.

​

Устранение распространенных проблем

При возникновении неожиданного поведения:

• Убедитесь, что общий размер пакетного запроса не превышает 32 МБ. Если размер запроса слишком большой, вы можете получить ошибку 413 request_too_large.
• Проверьте, что вы используете поддерживаемые модели для всех запросов в пакете.
• Убедитесь, что каждый запрос в пакете имеет уникальный custom_id.
• Убедитесь, что прошло менее 29 дней с момента created_at пакета (не с момента ended_at обработки). Если прошло более 29 дней, результаты больше не будут доступны для просмотра.
• Подтвердите, что пакет не был отменен.

Обратите внимание, что сбой одного запроса в пакете не влияет на обработку других запросов.

​

Хранение и конфиденциальность пакетов

• Изоляция рабочего пространства: Пакеты изолированы в рамках рабочего пространства, в котором они созданы. Доступ к ним могут получить только API-ключи, связанные с этим рабочим пространством, или пользователи с разрешением на просмотр пакетов рабочего пространства в Консоли.

• Доступность результатов: Результаты пакетов доступны в течение 29 дней после создания пакета, что дает достаточно времени для получения и обработки.

​

Часто задаваемые вопросы

import anthropic

client = anthropic.Anthropic()

message_batch = client.beta.messages.batches.create(
    betas: ["max-tokens-3-5-sonnet-2024-07-15"],
    ...
)