詞彙表

​

上下文視窗

「上下文視窗」指的是語言模型在生成新文本時可以回顧和參考的文本量。這與語言模型訓練時使用的大型語料庫不同，而是代表模型的「工作記憶」。較大的上下文視窗使模型能夠理解和回應更複雜和冗長的提示，而較小的上下文視窗可能會限制模型處理較長提示或在延伸對話中保持連貫性的能力。

請參閱我們的模型比較表格，了解各個模型的上下文視窗大小。

​

微調

微調是使用額外數據對預訓練語言模型進行進一步訓練的過程。這會使模型開始表現和模仿微調數據集的模式和特徵。Claude 不是一個基礎語言模型；它已經經過微調成為一個有幫助的助手。我們的 API 目前不提供微調功能，但如果您有興趣探索這個選項，請詢問您的 Anthropic 聯絡人。微調可用於使語言模型適應特定領域、任務或寫作風格，但需要仔細考慮微調數據以及對模型性能和偏見的潛在影響。

​

HHH

這三個 H 代表 Anthropic 確保 Claude 對社會有益的目標：

• 有幫助的 (helpful) AI 將嘗試盡其所能執行任務或回答問題，提供相關且有用的信息。
• 誠實的 (honest) AI 將提供準確的信息，不會產生幻覺或虛構。它會在適當時候承認其局限性和不確定性。
• 無害的 (harmless) AI 不會具有冒犯性或歧視性，當被要求協助危險或不道德的行為時，AI 應該禮貌地拒絕並解釋為什麼不能遵從。

​

延遲

在生成式 AI 和大型語言模型的背景下，延遲指的是模型對給定提示做出回應所需的時間。它是提交提示和接收生成輸出之間的延遲。較低的延遲表示更快的響應時間，這對於即時應用、聊天機器人和互動體驗至關重要。影響延遲的因素包括模型大小、硬件能力、網絡條件以及提示和生成響應的複雜性。

​

LLM

大型語言模型（LLM）是具有許多參數的 AI 語言模型，能夠執行各種令人驚訝的有用任務。這些模型在大量文本數據上進行訓練，可以生成類人文本、回答問題、總結信息等。Claude 是一個基於大型語言模型的對話助手，經過微調和使用 RLHF 訓練，使其更有幫助、更誠實且無害。

​

預訓練

預訓練是在大量未標記文本語料庫上訓練語言模型的初始過程。就 Claude 而言，自迴歸語言模型（如 Claude 的底層模型）經過預訓練，根據文檔中的前文上下文預測下一個詞。這些預訓練模型本身並不擅長回答問題或遵循指令，通常需要深厚的提示工程技巧才能引出所需的行為。微調和 RLHF 用於改進這些預訓練模型，使其更適用於廣泛的任務。

​

RAG（檢索增強生成）

檢索增強生成（RAG）是一種將信息檢索與語言模型生成相結合的技術，用於提高生成文本的準確性和相關性，並更好地將模型的回應建立在證據基礎上。在 RAG 中，語言模型通過外部知識庫或一組文檔進行增強，這些文檔被傳入上下文視窗中。當向模型發送查詢時，數據會在運行時檢索，儘管模型本身不一定檢索數據（但可以通過工具使用和檢索功能實現）。在生成文本時，首先必須根據輸入提示從知識庫中檢索相關信息，然後將其與原始查詢一起傳遞給模型。模型使用這些信息來指導其生成的輸出。這使模型能夠訪問和利用其訓練數據之外的信息，減少對記憶的依賴，提高生成文本的事實準確性。RAG 對於需要最新信息、特定領域知識或明確引用來源的任務特別有用。然而，RAG 的效果取決於外部知識庫的質量和相關性，以及運行時檢索的知識。

​

RLHF

人類反饋強化學習（RLHF）是一種用於訓練預訓練語言模型的技術，使其行為與人類偏好一致。這可以包括幫助模型更有效地遵循指令或更像聊天機器人。人類反饋包括對兩個或更多示例文本進行排名，強化學習過程鼓勵模型偏好與排名較高的文本相似的輸出。Claude 已使用 RLHF 訓練成為更有幫助的助手。有關更多詳細信息，您可以閱讀 Anthropic 的相關論文。

​

溫度

溫度是一個控制模型在文本生成過程中預測隨機性的參數。較高的溫度會導致更具創造性和多樣性的輸出，允許在措辭上有多種變化，在小說的情況下，答案也會有變化。較低的溫度會產生更保守和確定性的輸出，堅持最可能的措辭和答案。調整溫度使用戶能夠鼓勵語言模型探索罕見、不常見或令人驚訝的詞語選擇和序列，而不是只選擇最可能的預測。

​

TTFT（首個標記時間）

首個標記時間（TTFT）是一個性能指標，用於衡量語言模型在接收提示後生成其輸出的第一個標記所需的時間。它是模型響應能力的重要指標，特別是對於互動應用、聊天機器人和實時系統，用戶期望快速的初始反饋。較低的 TTFT 表示模型可以更快開始生成響應，提供更流暢和吸引人的用戶體驗。影響 TTFT 的因素包括模型大小、硬件能力、網絡條件和提示的複雜性。

​

標記

標記是語言模型的最小個別單位，可以對應於單詞、子詞、字符或甚至字節（在 Unicode 的情況下）。對於 Claude 來說，一個標記大約代表 3.5 個英文字符，儘管確切數字可能因使用的語言而異。在「文本」層面與語言模型互動時，標記通常是隱藏的，但在檢查語言模型的確切輸入和輸出時變得相關。當向 Claude 提供要評估的文本時，文本（由一系列字符組成）被編碼成一系列標記供模型處理。較大的標記在推理和預訓練期間實現數據效率（並在可能時使用），而較小的標記允許模型處理不常見或從未見過的單詞。標記化方法的選擇可能影響模型的性能、詞彙量和處理詞彙表外單詞的能力。