Потоковые текстовые завершения
Узнайте, как использовать потоковые текстовые завершения с API Text Completions для получения инкрементальных ответов.
Устаревший API
API Text Completions является устаревшим API. Будущие модели и функции потребуют использования Messages API, и мы рекомендуем мигрировать как можно скорее.
При создании текстового завершения вы можете установить "stream": true
для инкрементальной потоковой передачи ответа с использованием server-sent events (SSE). Если вы используете наши клиентские библиотеки, парсинг этих событий будет обрабатываться автоматически. Однако, если вы создаете прямую интеграцию с API, вам нужно будет обрабатывать эти события самостоятельно.
Пример
События
Каждое событие включает именованный тип события и связанные JSON данные.
Типы событий: completion
, ping
, error
.
Типы событий ошибок
Мы можем периодически отправлять ошибки в потоке событий. Например, в периоды высокой нагрузки вы можете получить overloaded_error
, который обычно соответствует HTTP 529 в не-потоковом контексте:
Старые версии API
Если вы используете версию API до 2023-06-01
, форма ответа будет отличаться. См. версионирование для подробностей.