延伸思考模型
所有在 Claude Sonnet 3.7 之後發布的 Opus 和 Sonnet 模型都支援標準和延伸思考模式。在標準模式下,這些模型的運作方式與之前的 Claude 模型類似。在延伸思考模式下,Claude 會在輸出回應前先輸出其思考過程,讓您能夠了解其推理過程。
延伸思考概述
延伸思考模型有兩種運作模式:
- 標準模式:類似於之前的 Claude 模型,提供直接回應而不顯示內部推理過程
- 延伸思考模式:在提供最終答案前展示 Claude 的推理過程
何時使用標準模式
標準模式適用於大多數一般用途,包括:
- 一般內容生成
- 基本編碼協助
- 常規代理任務
- 電腦使用指導
- 大多數對話應用
何時使用延伸思考模式
延伸思考模式在以下關鍵領域表現出色:
- 複雜分析:涉及多個參數和因素的金融、法律或數據分析
- 進階 STEM 問題:數學、物理、研究與開發
- 長上下文處理:處理和綜合來自大量輸入的信息
- 約束優化:具有多個競爭需求的問題
- 詳細數據生成:創建全面的表格或結構化信息集
- 複雜指令遵循:具有複雜系統提示和需要考慮多種因素的聊天機器人
- 結構化創意任務:需要詳細規劃、大綱或管理多個敘事元素的創意寫作
要了解更多關於延伸思考的工作原理,請參閱延伸思考。
開始使用延伸思考模型
如果您是第一次嘗試延伸思考,以下是一些提示:
- 從標準模式開始:首先使用您選擇的 Opus 或 Sonnet 模型而不啟用延伸思考,以建立基準性能
- 識別改進機會:嘗試以低預算開啟延伸思考模式,看看您的用例是否會從更深入的推理中受益。可能的情況是,您的用例更適合在標準模式下使用更詳細的提示,而不是 Claude 的延伸思考。
- 逐步實施:如有需要,在測試性能是否符合您的要求的同時,逐步增加思考預算。
- 優化 token 使用:一旦達到可接受的性能,設置適當的 token 限制以管理成本。
- 探索新可能性:我們最新的 Opus 和 Sonnet 模型,無論是否使用延伸思考,在各種領域都比之前的 Claude 模型更強大。我們鼓勵您嘗試將這些模型用於之前在其他模型中遇到限制的用例。
使用延伸思考模型進行開發
一般模型信息
有關所有支援延伸思考的當前 Claude 模型的定價、上下文窗口大小和其他信息,請參閱所有模型概述。
延伸思考模型中的最大 token 數和上下文窗口變化
在較舊的 Claude 模型(延伸思考模型之前)中,如果提示 token 和 max_tokens
的總和超過了模型的上下文窗口,系統會自動調整 max_tokens
以適應上下文限制。這意味著您可以設置一個較大的 max_tokens
值,系統會靜默地根據需要減少它。
對於延伸思考模型,max_tokens
(當啟用思考時包括您的思考預算)被強制執行為嚴格限制。如果提示 token + max_tokens
超過上下文窗口大小,系統現在會返回驗證錯誤。
從舊模型遷移到延伸思考模型
如果您正在從另一個模型轉移提示,無論是另一個 Claude 模型還是來自另一個模型提供商,以下是一些提示:
標準模式遷移
- 簡化您的提示:延伸思考模型需要較少的引導。移除您在之前版本中使用的任何特定於模型的指導語言,例如關於處理冗長性的語言 - 這類語言可能是不必要的,並且會節省 token 和降低成本。
否則,如果您在關閉延伸思考的情況下使用這些模型,通常不需要更改提示。如果遇到問題,請應用一般的提示工程最佳實踐。
延伸思考模式遷移
使用延伸思考時,首先從您的提示中移除所有思維鏈(CoT)指導。延伸思考模型設計為無需明確的推理指令即可有效工作。
- 與其規定思考模式,不如先觀察 Claude 的自然思考過程,然後根據您所見調整提示。
- 如果您想提供思考指導,可以在提示中以自然語言包含指導,Claude 將能夠將這些指令泛化到自己的思考中。
- 有關如何提示延伸思考的更多提示,請參閱延伸思考提示。
從其他模型提供商遷移
Claude 的延伸思考模型可能對為其他提供商的模型優化的提示模式有不同的回應。我們建議專注於清晰、直接的指令,而不是特定提供商的提示技術。移除為特定模型提供商量身定制的指令可能會帶來更好的性能,因為 Claude 通常在開箱即用的情況下就能很好地遵循複雜指令。
您可以使用我們在 console.anthropic.com 上優化的提示改進器來協助遷移提示。