詞彙表

​

上下文窗口

「上下文窗口」是指語言模型在生成新文本時可以回顧和參考的文本量。這與語言模型訓練所使用的大型語料庫不同，而是代表模型的「工作記憶」。較大的上下文窗口允許模型理解和回應更複雜和冗長的提示，而較小的上下文窗口可能會限制模型處理較長提示或在長對話中保持連貫性的能力。

請參閱我們的模型比較表，了解各模型的上下文窗口大小列表。

​

微調

微調是使用額外數據對預訓練語言模型進行進一步訓練的過程。這會導致模型開始表示和模仿微調數據集的模式和特徵。Claude 不是一個原始的語言模型，它已經經過微調成為一個有用的助手。我們的 API 目前不提供微調功能，但如果您有興趣探索此選項，請諮詢您的 Anthropic 聯絡人。微調可用於使語言模型適應特定領域、任務或寫作風格，但需要仔細考慮微調數據以及對模型性能和偏差的潛在影響。

​

HHH

這三個 H 代表 Anthropic 在確保 Claude 對社會有益方面的目標：

• **Helpful（有幫助）**的 AI 會盡其所能嘗試執行給定的任務或回答問題，提供相關和有用的信息。
• **Honest（誠實）**的 AI 會提供準確的信息，不會幻想或編造。在適當的時候，它會承認自己的局限性和不確定性。
• **Harmless（無害）**的 AI 不會冒犯或歧視他人，當被要求協助危險或不道德的行為時，AI 應該禮貌地拒絕並解釋無法遵從的原因。

​

延遲

在生成式 AI 和大型語言模型的背景下，延遲是指模型對給定提示做出響應所需的時間。它是提交提示和收到生成輸出之間的延遲。較低的延遲表示響應時間更快，這對實時應用程序、聊天機器人和互動體驗至關重要。影響延遲的因素包括模型大小、硬件能力、網絡條件以及提示和生成響應的複雜性。

​

LLM

大型語言模型（LLM）是具有許多參數的 AI 語言模型，能夠執行各種令人驚訝的有用任務。這些模型在大量文本數據上進行訓練，可以生成類似人類的文本、回答問題、總結信息等。Claude 是一個基於大型語言模型的對話助手，經過微調和使用 RLHF 訓練，以更加有幫助、誠實和無害。

​

預訓練

預訓練是在大型未標記文本語料庫上訓練語言模型的初始過程。就 Claude 而言，自回歸語言模型（如 Claude 的基礎模型）經過預訓練，以根據文檔中先前的文本上下文預測下一個單詞。這些預訓練模型本身並不擅長回答問題或遵循指令，通常需要深厚的提示工程技能才能引出所需的行為。微調和 RLHF 用於改進這些預訓練模型，使其更適用於各種任務。

​

RAG（檢索增強生成）

檢索增強生成（RAG）是一種結合信息檢索和語言模型生成的技術，旨在提高生成文本的準確性和相關性，並更好地將模型的響應建立在證據基礎上。在 RAG 中，語言模型通過外部知識庫或一組傳遞到上下文窗口中的文檔進行增強。數據在運行時查詢發送到模型時檢索，儘管模型本身不一定檢索數據（但可以使用工具使用和檢索功能）。在生成文本時，首先必須根據輸入提示從知識庫中檢索相關信息，然後將其與原始查詢一起傳遞給模型。模型使用此信息來指導其生成的輸出。這允許模型訪問和利用其訓練數據之外的信息，減少對記憶的依賴，並提高生成文本的事實準確性。RAG 對需要最新信息、特定領域知識或明確引用來源的任務特別有用。然而，RAG 的有效性取決於外部知識庫的質量和相關性以及在運行時檢索的知識。

​

RLHF

人類反饋強化學習（RLHF）是一種用於訓練預訓練語言模型以符合人類偏好的方式進行行為的技術。這可以包括幫助模型更有效地遵循指令或更像聊天機器人。人類反饋包括對兩個或多個示例文本進行排名，強化學習過程鼓勵模型偏好與排名較高的輸出相似的輸出。Claude 已經使用 RLHF 進行訓練，成為一個更有幫助的助手。有關更多詳細信息，您可以閱讀 Anthropic 關於該主題的論文。

​

溫度

溫度是一個參數，用於控制模型在文本生成過程中預測的隨機性。較高的溫度會導致更有創意和多樣化的輸出，允許在措辭方面有多種變化，並且在小說的情況下，答案也有變化。較低的溫度會產生更保守和確定性的輸出，堅持最可能的措辭和答案。調整溫度使用戶能夠鼓勵語言模型探索罕見、不常見或令人驚訝的單詞選擇和序列，而不是僅選擇最可能的預測。Claude Slackbot 在生成響應時使用非零溫度，這允許其答案有一些變化，同時保持連貫性和相關性。

​

TTFT（第一個 token 的時間）

第一個 Token 的時間（TTFT）是一個性能指標，用於衡量語言模型在收到提示後生成輸出的第一個 token 所需的時間。它是模型響應能力的重要指標，對於交互式應用程序、聊天機器人和用戶期望快速初始反饋的實時系統尤其重要。較低的 TTFT 表示模型可以更快地開始生成響應，提供更無縫和吸引人的用戶體驗。影響 TTFT 的因素包括模型大小、硬件能力、網絡條件以及提示的複雜性。

​

Tokens

Tokens 是語言模型的最小單個單位，可以對應單詞、子詞、字符，甚至是字節（在 Unicode 的情況下）。對於 Claude，一個 token 大約代表 3.5 個英文字符，儘管確切的數字可能因使用的語言而異。在與語言模型進行「文本」級別的交互時，Tokens 通常是隱藏的，但在檢查語言模型的確切輸入和輸出時就變得相關。當向 Claude 提供要評估的文本時，文本（由一系列字符組成）被編碼為一系列 token 供模型處理。較大的 token 在推理和預訓練期間實現數據效率（並在可能的情況下使用），而較小的 token 允許模型處理不常見或從未見過的單詞。分詞方法的選擇會影響模型的性能、詞彙量大小以及處理詞彙表外單詞的能力。