Pythia 12b

🚀 Pythia-12B

Pythia Scaling Suite 是為便於可解釋性研究而開發的一系列模型集合(查看論文)。它包含兩組各八個模型，模型大小分別為 70M、160M、410M、1B、1.4B、2.8B、6.9B 和 12B。對於每個大小，都有兩個模型：一個在 Pile 數據集上訓練，另一個在對 Pile 數據集進行全局去重後訓練。所有 8 種模型大小都在完全相同的數據上，以完全相同的順序進行訓練。我們還為每個模型提供了 154 箇中間檢查點，這些檢查點作為分支託管在 Hugging Face 上。

Pythia 模型套件是特意為推動大語言模型的科學研究而設計的，尤其是可解釋性研究。儘管設計目標並非以提升下游性能為核心，但我們發現這些模型 達到或超越了 類似大小的模型，如 OPT 和 GPT - Neo 套件中的模型。

🚀 快速開始

Pythia 模型可以通過以下代碼加載和使用，以下是 pythia - 70m - deduped 第三個檢查點的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

版本/分支 step143000 與每個模型 main 分支上的模型檢查點完全對應。
有關如何使用所有 Pythia 模型的更多信息，請參閱 GitHub 上的文檔。

✨ 主要特性

• 可解釋性研究助力：Pythia Scaling Suite 專門為促進大語言模型的可解釋性研究而開發，包含不同大小的模型，方便研究人員進行對比和分析。
• 統一訓練數據：所有模型都在相同的數據上以相同的順序進行訓練，確保了實驗的一致性和可比性。
• 豐富的檢查點：每個模型提供 154 箇中間檢查點，方便研究人員觀察模型在不同訓練階段的表現。
• 性能表現出色：儘管設計重點並非下游性能，但模型在基準測試中達到或超越了類似大小的其他模型。

📦 安裝指南

文檔中未提及具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

高級用法

文檔中未提及高級用法相關代碼，故跳過此部分。

📚 詳細文檔

模型詳情

使用與限制

預期用途

Pythia 的主要預期用途是用於大語言模型的行為、功能和侷限性研究。該套件旨在為進行科學實驗提供一個可控的環境。我們還為每個模型提供了 154 個檢查點：初始 step0、10 個對數間隔的檢查點 step{1,2,4...512} 以及從 step1000 到 step143000 的 143 個均勻間隔的檢查點。這些檢查點作為分支託管在 Hugging Face 上。請注意，分支 143000 與每個模型 main 分支上的模型檢查點完全對應。

只要您的使用符合 Apache 2.0 許可證，您也可以進一步微調並調整 Pythia - 12B 以進行部署。Pythia 模型可與 Hugging Face Transformers 庫 配合使用。如果您決定使用預訓練的 Pythia - 12B 作為微調模型的基礎，請自行進行風險和偏差評估。

非預期用途

Pythia 套件 不 用於部署。它本身不是一個產品，不能用於面向人類的交互。例如，該模型可能會生成有害或冒犯性的文本。請評估與您特定用例相關的風險。

Pythia 模型僅支持英語，不適用於翻譯或生成其他語言的文本。

Pythia - 12B 未針對語言模型常見的下游應用場景進行微調，如撰寫特定類型的散文或商業聊天機器人。這意味著 Pythia - 12B 不會 像 ChatGPT 這樣的產品那樣對給定的提示做出響應。這是因為與該模型不同，ChatGPT 使用了諸如基於人類反饋的強化學習 (RLHF) 等方法進行微調，以更好地 “遵循” 人類指令。

侷限性和偏差

大語言模型的核心功能是接收一段文本並預測下一個標記。模型使用的標記不一定能產生最 “準確” 的文本。切勿依賴 Pythia - 12B 生成事實準確的輸出。

該模型在 Pile 數據集 上進行訓練，該數據集已知包含褻瀆性和淫穢或其他冒犯性的文本。有關性別、宗教和種族方面的記錄偏差的討論，請參閱 Pile 論文的第 6 節。Pythia - 12B 可能會生成社會不可接受或不良的文本，即使 提示本身不包含任何明確的冒犯性內容。

如果您計劃使用通過例如託管推理 API 生成的文本，我們建議在向他人展示之前由人工對該語言模型的輸出進行審核。請告知您的受眾該文本是由 Pythia - 12B 生成的。

訓練

訓練數據

Pile 數據集 是一個 825GiB 的通用英語數據集。它由 EleutherAI 專門為訓練大語言模型而創建。它包含來自 22 個不同來源的文本，大致分為五類：學術寫作（如 arXiv）、互聯網（如 CommonCrawl）、散文（如 Project Gutenberg）、對話（如 YouTube 字幕）和其他（如 GitHub、安然電子郵件）。有關所有數據源的細分、方法和倫理影響的討論，請參閱 Pile 論文。有關 Pile 及其組成數據集的更詳細文檔，請參閱 數據手冊。Pile 數據集可以從 官方網站 或 [社區鏡像](https://the - eye.eu/public/AI/pile/) 下載。
在用於訓練 Pythia - 12B 之前，Pile 數據集 未 進行去重處理。

訓練過程

所有模型都在完全相同的數據上，以完全相同的順序進行訓練。每個模型在訓練期間處理了 299,892,736,000 個標記，並且每個模型每 2,097,152,000 個標記保存 143 個檢查點，這些檢查點在訓練過程中均勻分佈，從 step1000 到 step143000（與 main 相同）。此外，我們還提供了頻繁的早期檢查點：step0 和 step{1,2,4...512}。 這相當於未去重模型在 Pile 數據集上訓練不到 1 個週期，而去重後的 Pile 數據集上訓練約 1.5 個週期。

所有 Pythia 模型以 2M（2,097,152 個標記）的批量大小訓練了 143000 步。
有關訓練過程的更多詳細信息，包括 [如何復現訓練](https://github.com/EleutherAI/pythia/blob/main/README.md#reproducing - training)，請參閱 GitHub。
Pythia 使用與 [GPT - NeoX - 20B](https://huggingface.co/EleutherAI/gpt - neox - 20b) 相同的分詞器。

評估

所有 16 個 Pythia 模型都使用 [LM Evaluation Harness](https://github.com/EleutherAI/lm - evaluation - harness) 進行了評估。您可以在 GitHub 倉庫 的 results/json/* 中按模型和步驟訪問評估結果。
展開以下部分，查看所有 Pythia 和 Pythia - deduped 模型與 OPT 和 BLOOM 的評估結果對比圖。

LAMBADA – OpenAI

物理交互：問答 (PIQA)

WinoGrande

AI2 推理挑戰 — 簡單集

SciQ

變更日誌

此部分比較了之前發佈的 Pythia v0 與當前模型之間的差異。有關這些更改及其背後動機的進一步討論，請參閱 Pythia 論文的附錄 B。我們發現重新訓練 Pythia 對基準測試性能沒有影響。

• 所有模型現在都以 2M 標記的統一批量大小進行訓練。此前，參數大小為 160M、410M 和 1.4B 的模型以 4M 標記的批量大小進行訓練。
• 除了每 1000 個訓練步驟保存檢查點外，我們還在初始化時（步驟 0）和步驟 {1,2,4,8,16,32,64,128,256,512} 添加了檢查點。
• 新的重新訓練套件中使用了 Flash Attention。
• 我們糾正了原始套件中存在的一個小不一致問題：所有參數大小為 2.8B 或更小的模型的學習率 (LR) 調度會衰減到起始 LR 率的 10% 作為最小 LR，但 6.9B 和 12B 模型使用的 LR 調度會衰減到最小 LR 為 0。在重新訓練中，我們糾正了這個不一致問題：所有模型現在都以 LR 衰減到最大 LR 的 0.1 倍進行訓練。

命名規則和參數數量

Pythia 模型在 2023 年 1 月進行了重命名。舊的命名規則可能仍會意外地出現在一些文檔中。當前的命名規則（70M、160M 等）基於總參數數量。

🔧 技術細節

文檔中未提及足夠詳細的技術實現細節（少於 50 字），故跳過此章節。

📄 許可證

本項目採用 Apache 2.0 許可證。