Pythia 1b

🚀 Pythia-1B

Pythia Scaling Suite是一組為便於可解釋性研究而開發的模型集合，包含不同規模的模型，可用於大語言模型的研究。

🚀 快速開始

Pythia模型可以通過以下代碼加載和使用，這裡以pythia-70m-deduped的第三個檢查點為例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修訂版/分支step143000與每個模型main分支上的模型檢查點完全對應。有關如何使用所有Pythia模型的更多信息，請參閱GitHub上的文檔。

✨ 主要特性

• 促進研究：Pythia模型套件旨在促進大語言模型的科學研究，特別是可解釋性研究。
• 模型多樣：包含兩組共16個模型，規模從70M到12B不等，且每個規模都有在Pile數據集和全局去重後的Pile數據集上訓練的兩個模型。
• 檢查點豐富：每個模型提供154箇中間檢查點，託管在Hugging Face上作為分支。
• 性能出色：儘管設計目標並非以提升下游性能為中心，但這些模型的性能與類似規模的模型（如OPT和GPT - Neo套件中的模型）相當或更優。

📦 安裝指南

文檔未提及具體安裝步驟，可參考GitHub獲取更多信息。

💻 使用示例

基礎用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

📚 詳細文檔

模型詳情

使用與限制

預期用途

Pythia的主要預期用途是研究大語言模型的行為、功能和侷限性。該套件旨在為進行科學實驗提供一個可控的環境。每個模型還提供154個檢查點：初始 step0、10個對數間隔的檢查點 step{1,2,4...512} 以及143個從 step1000 到 step143000 的均勻間隔檢查點。這些檢查點託管在Hugging Face上作為分支。注意，分支 143000 與每個模型 main 分支上的模型檢查點完全對應。

你也可以進一步微調並適配Pythia - 1B以進行部署，只要你的使用符合Apache 2.0許可證。Pythia模型可與Hugging Face的 Transformers庫 配合使用。如果你決定使用預訓練的Pythia - 1B作為微調模型的基礎，請自行進行風險和偏差評估。

非預期用途

Pythia套件 不 用於部署。它本身不是一個產品，不能用於面向人類的交互。例如，該模型可能會生成有害或冒犯性的文本。請評估與你特定用例相關的風險。

Pythia模型僅支持英語，不適合用於翻譯或生成其他語言的文本。

Pythia - 1B未針對語言模型常見部署的下游場景進行微調，如撰寫特定類型的散文或商業聊天機器人。這意味著Pythia - 1B不會像ChatGPT這樣的產品那樣對給定提示做出響應。這是因為與該模型不同，ChatGPT使用了諸如基於人類反饋的強化學習（RLHF）等方法進行微調，以更好地“遵循”人類指令。

侷限性和偏差

大語言模型的核心功能是接收一段文本並預測下一個標記。模型使用的標記不一定會產生最“準確”的文本。切勿依賴Pythia - 1B生成事實準確的輸出。

該模型在 the Pile 數據集上進行訓練，該數據集已知包含褻瀆性和低俗或其他冒犯性的文本。有關性別、宗教和種族方面的記錄偏差的討論，請參閱 Pile論文的第6節。即使提示本身不包含任何明確的冒犯性內容，Pythia - 1B也可能會生成社會不可接受或不受歡迎的文本。

如果你打算使用通過例如託管推理API生成的文本，建議在向他人展示之前由人工對該語言模型的輸出進行審核。請告知你的受眾該文本是由Pythia - 1B生成的。

訓練

訓練數據

The Pile 是一個825GiB的通用英語數據集，由EleutherAI專門為訓練大語言模型而創建。它包含來自22個不同來源的文本，大致分為五類：學術寫作（如arXiv）、互聯網（如CommonCrawl）、散文（如Project Gutenberg）、對話（如YouTube字幕）和其他（如GitHub、Enron Emails）。有關所有數據源的細分、方法和倫理影響的討論，請參閱 Pile論文。有關Pile及其組成數據集的更詳細文檔，請參考 數據說明書。The Pile可以從 官方網站 或 [社區鏡像](https://the - eye.eu/public/AI/pile/) 下載。

在訓練Pythia - 1B之前，The Pile 未 進行去重處理。

訓練過程

所有模型都在完全相同的數據上以完全相同的順序進行訓練。每個模型在訓練期間處理了299,892,736,000個標記，並且每個模型每2,097,152,000個標記保存143個檢查點，從 step1000 到 step143000（與 main 相同）均勻分佈在整個訓練過程中。此外，我們還提供頻繁的早期檢查點：step0 和 step{1,2,4...512}。

對於未去重的模型，這相當於在The Pile上訓練不到1個週期；對於去重後的The Pile，大約訓練1.5個週期。

所有 Pythia 模型以2M（2,097,152個標記）的批量大小訓練了143000步。有關訓練過程的更多詳細信息，包括 [如何復現](https://github.com/EleutherAI/pythia/blob/main/README.md#reproducing - training)，請參閱 GitHub。Pythia使用與 [GPT - NeoX - 20B](https://huggingface.co/EleutherAI/gpt - neox - 20b) 相同的分詞器。

評估

所有16個 Pythia 模型都使用 [LM Evaluation Harness](https://github.com/EleutherAI/lm - evaluation - harness) 進行了評估。你可以在 GitHub倉庫 的 results/json/* 中按模型和步驟訪問評估結果。

展開以下部分，查看所有Pythia和Pythia - deduped模型與OPT和BLOOM相比的評估結果圖。

LAMBADA – OpenAI

Physical Interaction: Question Answering (PIQA)

WinoGrande

AI2 Reasoning Challenge—Easy Set

SciQ

變更日誌

本節比較了之前發佈的 Pythia v0 與當前模型之間的差異。有關這些更改及其背後的動機的進一步討論，請參閱Pythia論文的附錄B。我們發現重新訓練Pythia對基準性能沒有影響。

• 所有模型現在都以2M標記的統一批量大小進行訓練。之前，參數規模為160M、410M和1.4B的模型以4M標記的批量大小進行訓練。
• 除了每1000個訓練步驟保存檢查點外，還在初始化（步驟0）和步驟 {1,2,4,8,16,32,64,128,256,512} 處添加了檢查點。
• 新的重新訓練套件中使用了Flash Attention。
• 我們糾正了原始套件中存在的一個小不一致問題：所有參數規模為2.8B或更小的模型的學習率（LR）調度會衰減到起始LR率的10%的最小LR，但6.9B和12B模型的LR調度會衰減到最小LR為0。在重新訓練的運行中，我們糾正了這個不一致問題：所有模型現在都以LR衰減到其最大LR的0.1倍的方式進行訓練。

命名約定和參數數量

Pythia 模型在2023年1月進行了重命名。舊的命名約定可能仍會意外地出現在某些文檔中。當前的命名約定（70M、160M等）基於總參數數量。

🔧 技術細節

Pythia模型套件的設計旨在促進大語言模型的科學研究，特別是可解釋性研究。所有模型在相同的數據上以相同的順序進行訓練，確保了實驗的可控性和可重複性。每個模型提供多箇中間檢查點，有助於研究人員觀察模型在訓練過程中的變化。

在訓練過程中，使用了特定的批量大小和學習率調度，並且糾正了原始套件中的一些超參數差異。新的重新訓練套件還使用了Flash Attention技術，提高了訓練效率。

評估方面，使用了 [LM Evaluation Harness](https://github.com/EleutherAI/lm - evaluation - harness) 對所有模型進行評估，結果可在GitHub倉庫中查看。

📄 許可證

本項目採用Apache 2.0許可證。