Olmo 2 0425 1B Instruct

🚀 OLMo 2 1B Instruct April 2025

OLMo 2 1B Instruct April 2025は、言語モデルの科学を可能にするために設計されたオープン言語モデルです。このモデルは、公開されているデータセット、合成データセット、および人間が作成したデータセットの混合データで訓練されています。また、T端lu 3データセットを用いた微調整や、RLVR-MATHデータセットを用いた学習が行われており、多様なタスクでの高性能を実現しています。

🚀 クイックスタート

OLMo 2 1B Instruct April 2025は、transformers v4.48以上でサポートされています。以下のコマンドでインストールできます。

pip install transformers>=4.48

✨ 主な機能

• 公開されているデータセット、合成データセット、および人間が作成したデータセットの混合データで訓練されたモデル。
• T端lu 3データセットを用いた微調整や、RLVR-MATHデータセットを用いた学習が行われており、多様なタスクでの高性能を実現。
• チャット以外のタスク、例えばMATH、GSM8K、IFEvalなどでも優れた性能を発揮。

📦 インストール

OLMo 2 1Bは、transformers v4.48以上でサポートされています。以下のコマンドでインストールできます。

pip install transformers>=4.48

💻 使用例

基本的な使用法

HuggingFaceを使用してモデルをロードするには、以下のコードを使用します。

from transformers import AutoModelForCausalLM

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-Instruct")

高度な使用法

中間チェックポイントを使用してモデルをロードするには、以下のコードを使用します。

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-Instruct", revision="step_200")

📚 ドキュメント

モデルの説明

モデルのソース

• プロジェクトページ: https://allenai.org/olmo
• リポジトリ:
  • コアリポジトリ (訓練、推論、微調整など): https://github.com/allenai/OLMo-core
  • 評価コード: https://github.com/allenai/olmes
  • さらなる微調整コード: https://github.com/allenai/open-instruct
• 論文: https://arxiv.org/abs/2501.00656
• デモ: https://playground.allenai.org/

チャットテンプレート

注意: これは、設定のわずかな変更により、以前のOLMo 2およびT端lu 3モデルとは異なります。残りの前にbosトークンはありません。他のモデルは、チャットテンプレートの先頭に<|endoftext|>があります。

モデルのチャットテンプレートは、以下のようにフォーマットされています。

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

バイアス、リスク、および制限

OLMo-2モデルは、安全面での訓練が限られており、ChatGPTのように応答のループ内フィルタリングが自動的に行われないため、問題のある出力を生成する可能性があります（特にそのように促された場合）。

性能

📄 ライセンス

OLMo 2は、Apache 2.0ライセンスの下で公開されています。このモデルは、研究および教育目的で使用することを意図しています。詳細については、責任ある使用ガイドラインを参照してください。

引用

@article{olmo20242olmo2furious,
      title={2 OLMo 2 Furious}, 
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656}, 
}