Molm 700M 4B

🚀 MoLM

MoLMは、パラメータ規模が40億から80億までのMoEベースの言語モデルのコレクションです。このリポジトリは、Hugging Face Transformersフォーマットに変換されたMoLM-700M-4B事前学習モデル用です。他のモデルへのリンクは、下部のインデックスにあります。

🚀 クイックスタート

モデルを読み込むには、ModuleFormerパッケージをインストールする必要があります。その後、以下のコードでモデルを読み込むことができます。

from transformers import AutoTokenizer, AutoModelForCausalLM, AutoConfig, AutoModelForSequenceClassification
from moduleformer import ModuleFormerForCausalLM, ModuleFormerConfig, ModuleFormerForSequenceClassification
AutoConfig.register("moduleformer", ModuleFormerConfig)
AutoModelForCausalLM.register(ModuleFormerConfig, ModuleFormerForCausalLM)
AutoModelForSequenceClassification.register(ModuleFormerConfig, ModuleFormerForSequenceClassification)

tokenizer = AutoTokenizer.from_pretrained('ibm/MoLM-700M-4B')
model = AutoModelForCausalLM.from_pretrained('ibm/MoLM-700M-4B')

✨ 主な機能

• MoLMには、4Bと8Bの2つの異なるパラメータサイズがあります。4Bモデルには、異なる計算コストの2つのバリエーション（350Mと700M）があります。
• すべてのモデルは、公開されているソースからの3000億トークンのデータで事前学習されています。

📦 インストール

モデルを読み込むには、ModuleFormerパッケージをインストールする必要があります。

📚 ドキュメント

モデルの詳細

• MoLM-350M-4BはMoEベースの言語モデルで、40億のパラメータを持っていますが、各入力トークンは3億5000万のパラメータのみをアクティブ化します。したがって、計算的には3億5000万の密モデルと同等です。
• MoLM-700M-4Bは40億のパラメータを持ち、計算的には7億の密モデルと同等です。
• MoLM-700M-8Bは80億のパラメータを持ち、計算的には7億の密モデルと同等です。
• すべてのモデルは、公開されているソースからの3000億トークンのデータで、学習率3.0 x 10^-4、グローバルバッチサイズ300万トークンで学習されています。

モデルの開発者

IBM

入力

モデルはテキストのみを入力として受け取ります。

出力

モデルはテキストのみを生成します。

モデルアーキテクチャ

MoLMは、ModuleFormerアーキテクチャを使用した自己回帰型言語モデルです。各注意層には16個の注意モジュールがあり、各MLP層には32個のMLPモジュールがあります。推論時には、各層で、MoLM-350M-4BとMoLM-700M-8Bは各トークンに対して2つのモジュールをアクティブ化し、MoLM-700M-4Bは4つのモジュールをアクティブ化します。MoLM-350M-4BとMoLM-700M-4Bは24ブロック、MoLM-700M-8Bは48ブロックで構成されています。

ステータス

これは、オフラインデータセットで学習された静的モデルです。将来的には、コミュニティからのフィードバックを元にモデルの安全性を向上させた調整済みモデルのバージョンがリリースされます。

研究論文

"ModuleFormer: Modularity Emerges from Mixture-of-Experts"

🔧 技術詳細

学習データ

MoLMモデルは、公開されているソースからの3000億トークンのデータで事前学習されています。

評価結果

このセクションでは、標準的な学術ベンチマークにおけるMoLMモデルの結果を報告します。すべての評価には、LM evaluations Harnessを使用しています。

倫理的な考慮事項と制限

MoLMは、使用に伴うリスクを抱えた新しい技術です。これまでに行われたテストは英語で行われており、すべてのシナリオを網羅していない、または網羅することができない可能性があります。これらの理由から、すべての大規模言語モデルと同様に、MoLMの潜在的な出力を事前に予測することはできず、モデルは場合によっては、ユーザーのプロンプトに対して不正確、偏った、またはその他の不快な応答を生成する可能性があります。したがって、MoLMのアプリケーションを展開する前に、開発者はモデルの特定のアプリケーションに合わせた安全性テストと調整を行う必要があります。

📄 ライセンス

Apache-2.0

引用

このリポジトリのデータまたはコードを使用する場合は、以下の論文を引用してください。

@article{shen2023moduleformer,
  title={ModuleFormer: Learning Modular Large Language Models From Uncurated Data},
  author={Shen, Yikang and Zhang, Zheyu and Cao, Tianyou and Tan, Shawn and Chen, Zhenfang and Gan, Chuang},
  journal={arXiv preprint arXiv:2306.04640},
  year={2023}
}

MoLMモデルインデックス