Molm 700M 4B

🚀 MoLM

MoLM是一系列基于混合专家（MoE）的语言模型，参数规模从40亿到80亿不等。这是MoLM - 700M - 4B预训练模型的仓库，该模型已转换为Hugging Face Transformers格式。其他模型的链接可在底部的索引中找到。

🚀 快速开始

要加载该模型，你需要安装ModuleFormer包。然后，你可以使用以下代码加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoConfig, AutoModelForSequenceClassification
from moduleformer import ModuleFormerForCausalLM, ModuleFormerConfig, ModuleFormerForSequenceClassification
AutoConfig.register("moduleformer", ModuleFormerConfig)
AutoModelForCausalLM.register(ModuleFormerConfig, ModuleFormerForCausalLM)
AutoModelForSequenceClassification.register(ModuleFormerConfig, ModuleFormerForSequenceClassification)

tokenizer = AutoTokenizer.from_pretrained('ibm/MoLM-700M-4B')
model = AutoModelForCausalLM.from_pretrained('ibm/MoLM-700M-4B')

✨ 主要特性

• 参数规模多样：提供40亿和80亿参数规模的模型，且40亿参数模型还有不同计算成本的变体。
• 计算效率高：每个输入令牌仅激活部分参数，在计算上等效于较小的密集模型。
• 数据丰富：所有模型均在3000亿个公开可用的令牌上进行预训练。

📚 详细文档

模型详情

• MoLM - 350M - 4B：基于MoE的语言模型，有40亿参数，但每个输入令牌仅激活3.5亿参数，计算上等效于3.5亿的密集模型。
• MoLM - 700M - 4B：有40亿参数，计算上等效于7亿的密集模型。
• MoLM - 700M - 8B：有80亿参数，计算上等效于7亿的密集模型。

所有模型均在3000亿个公开可用的令牌上进行训练，学习率为3.0 x 10⁻⁴，全局批量大小为300万个令牌。

模型开发者

IBM

模型变体

MoLM有两种不同的参数规模——40亿和80亿。40亿参数的模型有两种不同计算成本的变体——3.5亿和7亿。

输入输出

• 输入：模型仅接受文本输入。
• 输出：模型仅生成文本输出。

模型架构

MoLM是一个自回归语言模型，使用ModuleFormer架构。每个注意力层有16个注意力模块，每个MLP层有32个MLP模块。推理时，在每层中，MoLM - 350M - 4B和MoLM - 700M - 8B每个令牌激活2个模块，而MoLM - 700M - 4B激活4个模块。MoLM - 350M - 4B和MoLM - 700M - 4B有24个块，MoLM - 700M - 8B有48个块。

模型状态

这是一个基于离线数据集训练的静态模型。随着我们根据社区反馈改进模型安全性，未来将发布调优后的模型版本。

研究论文

"ModuleFormer: Modularity Emerges from Mixture - of - Experts"

📊 评估结果

在本节中，我们报告了MoLM模型在标准学术基准测试中的结果。所有评估均使用LM evaluations Harness。

⚠️ 伦理考量与局限性

MoLM是一项新技术，使用时存在风险。到目前为止进行的测试均使用英语，且未涵盖也无法涵盖所有场景。因此，与所有大语言模型一样，MoLM的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署MoLM的任何应用程序之前，开发人员应针对其特定的模型应用进行安全测试和调优。

📄 许可证

Apache - 2.0

📖 引用

如果您使用此仓库中的数据或代码，请引用以下论文：

@article{shen2023moduleformer,
  title={ModuleFormer: Learning Modular Large Language Models From Uncurated Data},
  author={Shen, Yikang and Zhang, Zheyu and Cao, Tianyou and Tan, Shawn and Chen, Zhenfang and Gan, Chuang},
  journal={arXiv preprint arXiv:2306.04640},
  year={2023}
}

📋 MoLM模型索引