Миграция с Text Completions

При миграции с Text Completions на Messages, учитывайте следующие изменения.

​

Входные и выходные данные

Самое большое изменение между Text Completions и Messages заключается в способе указания входных данных модели и получения выходных данных от модели.

В Text Completions входные данные представляют собой необработанные строки:

prompt = "\n\nHuman: Hello there\n\nAssistant: Hi, I'm Claude. How can I help?\n\nHuman: Can you explain Glycolysis to me?\n\nAssistant:"

В Messages вместо необработанного промпта вы указываете список входных сообщений:

Каждое входное сообщение имеет role и content.

В Text Completions сгенерированный моделью текст возвращается в значениях completion ответа:

>>> response = anthropic.completions.create(...)
>>> response.completion
" Hi, I'm Claude"

В Messages ответ представляет собой значение content, которое является списком блоков контента:

>>> response = anthropic.messages.create(...)
>>> response.content
[{"type": "text", "text": "Hi, I'm Claude"}]

​

Вкладывание слов в уста Claude

В Text Completions вы можете предварительно заполнить часть ответа Claude:

prompt = "\n\nHuman: Hello\n\nAssistant: Hello, my name is"

В Messages вы можете достичь того же результата, сделав последнее входное сообщение с ролью assistant:

messages = [
  {"role": "human", "content": "Hello"},
  {"role": "assistant", "content": "Hello, my name is"},
]

При этом content ответа будет продолжением content последнего входного сообщения:

{
  "role": "assistant",
  "content": [{"type": "text", "text": " Claude. How can I assist you today?" }],
  ...
}

​

Системный промпт

В Text Completions системный промпт указывается путем добавления текста перед первым ходом \n\nHuman::

prompt = "Today is January 1, 2024.\n\nHuman: Hello, Claude\n\nAssistant:"

В Messages вы указываете системный промпт с помощью параметра system:

anthropic.Anthropic().messages.create(
    model="claude-3-opus-20240229",
    max_tokens=1024,
    system="Today is January 1, 2024.", # <-- системный промпт
    messages=[
        {"role": "user", "content": "Hello, Claude"}
    ]
)

​

Названия моделей

API Messages требует указания полной версии модели (например, claude-3-opus-20240229).

Ранее мы поддерживали указание только основного номера версии (например, claude-2), что приводило к автоматическому обновлению до младших версий. Однако мы больше не рекомендуем такой шаблон интеграции, и Messages его не поддерживает.

​

Причина остановки

Text Completions всегда имеет stop_reason одного из следующих значений:

• "stop_sequence": Модель либо естественным образом завершила свой ход, либо была сгенерирована одна из ваших пользовательских последовательностей остановки.
• "max_tokens": Либо модель сгенерировала указанное вами количество max_tokens контента, либо она достигла своего абсолютного максимума.

Messages имеет stop_reason одного из следующих значений:

• "end_turn": Разговорный ход завершился естественным образом.
• "stop_sequence": Была сгенерирована одна из указанных вами пользовательских последовательностей остановки.
• "max_tokens": (без изменений)

​

Указание максимального количества токенов

• Text Completions: параметр max_tokens_to_sample. Без валидации, но с ограничением значений для каждой модели.
• Messages: параметр max_tokens. При передаче значения выше поддерживаемого моделью возвращает ошибку валидации.

​

Формат потоковой передачи

При использовании "stream": true в Text Completions ответ включал любые события server-sent-events: completion, ping и error. Подробности см. в потоковой передаче Text Completions.

Messages может содержать несколько блоков контента различных типов, поэтому его формат потоковой передачи несколько сложнее. Подробности см. в потоковой передаче Messages.