Molm 700M 4B

🚀 MoLM

MoLM是一系列基於混合專家（MoE）的語言模型，參數規模從40億到80億不等。這是MoLM - 700M - 4B預訓練模型的倉庫，該模型已轉換為Hugging Face Transformers格式。其他模型的鏈接可在底部的索引中找到。

🚀 快速開始

要加載該模型，你需要安裝ModuleFormer包。然後，你可以使用以下代碼加載模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoConfig, AutoModelForSequenceClassification
from moduleformer import ModuleFormerForCausalLM, ModuleFormerConfig, ModuleFormerForSequenceClassification
AutoConfig.register("moduleformer", ModuleFormerConfig)
AutoModelForCausalLM.register(ModuleFormerConfig, ModuleFormerForCausalLM)
AutoModelForSequenceClassification.register(ModuleFormerConfig, ModuleFormerForSequenceClassification)

tokenizer = AutoTokenizer.from_pretrained('ibm/MoLM-700M-4B')
model = AutoModelForCausalLM.from_pretrained('ibm/MoLM-700M-4B')

✨ 主要特性

• 參數規模多樣：提供40億和80億參數規模的模型，且40億參數模型還有不同計算成本的變體。
• 計算效率高：每個輸入令牌僅激活部分參數，在計算上等效於較小的密集模型。
• 數據豐富：所有模型均在3000億個公開可用的令牌上進行預訓練。

📚 詳細文檔

模型詳情

• MoLM - 350M - 4B：基於MoE的語言模型，有40億參數，但每個輸入令牌僅激活3.5億參數，計算上等效於3.5億的密集模型。
• MoLM - 700M - 4B：有40億參數，計算上等效於7億的密集模型。
• MoLM - 700M - 8B：有80億參數，計算上等效於7億的密集模型。

所有模型均在3000億個公開可用的令牌上進行訓練，學習率為3.0 x 10⁻⁴，全局批量大小為300萬個令牌。

模型開發者

IBM

模型變體

MoLM有兩種不同的參數規模——40億和80億。40億參數的模型有兩種不同計算成本的變體——3.5億和7億。

輸入輸出

• 輸入：模型僅接受文本輸入。
• 輸出：模型僅生成文本輸出。

模型架構

MoLM是一個自迴歸語言模型，使用ModuleFormer架構。每個注意力層有16個注意力模塊，每個MLP層有32個MLP模塊。推理時，在每層中，MoLM - 350M - 4B和MoLM - 700M - 8B每個令牌激活2個模塊，而MoLM - 700M - 4B激活4個模塊。MoLM - 350M - 4B和MoLM - 700M - 4B有24個塊，MoLM - 700M - 8B有48個塊。

模型狀態

這是一個基於離線數據集訓練的靜態模型。隨著我們根據社區反饋改進模型安全性，未來將發佈調優後的模型版本。

研究論文

"ModuleFormer: Modularity Emerges from Mixture - of - Experts"

📊 評估結果

在本節中，我們報告了MoLM模型在標準學術基準測試中的結果。所有評估均使用LM evaluations Harness。

⚠️ 倫理考量與侷限性

MoLM是一項新技術，使用時存在風險。到目前為止進行的測試均使用英語，且未涵蓋也無法涵蓋所有場景。因此，與所有大語言模型一樣，MoLM的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署MoLM的任何應用程序之前，開發人員應針對其特定的模型應用進行安全測試和調優。

📄 許可證

Apache - 2.0

📖 引用

如果您使用此倉庫中的數據或代碼，請引用以下論文：

@article{shen2023moduleformer,
  title={ModuleFormer: Learning Modular Large Language Models From Uncurated Data},
  author={Shen, Yikang and Zhang, Zheyu and Cao, Tianyou and Tan, Shawn and Chen, Zhenfang and Gan, Chuang},
  journal={arXiv preprint arXiv:2306.04640},
  year={2023}
}

📋 MoLM模型索引