Olmo 2 0425 1B SFT

🚀 OLMo 2 1B SFT April 2025

OLMo 2 1B SFT April 2025は、言語モデルの科学を可能にするために設計されたオープン言語モデルの一連であるOLMoのバリアントです。このモデルは、特定のデータセットで教師付き微調整を行っており、様々なタスクでの高性能を実現します。

OLMo 2 1B SFT April 2025は、allenai/OLMo-2-0425-1Bモデルの事後学習バリアントです。このモデルは、T端lu 3データセットのOLMo固有のバリアントで教師付き微調整を行っています。 T端lu 3は、チャット以外の様々なタスク（MATH、GSM8K、IFEvalなど）で最先端のパフォーマンスを達成するように設計されています。 詳細については、OLMo 2論文またはT端lu 3論文をご覧ください！

OLMoは、言語モデルの科学を可能にするために設計されたOpen Language Modelsのシリーズです。 これらのモデルはDolmaデータセットで学習されています。私たちは、すべてのコード、チェックポイント、ログ、および関連する学習詳細を公開しています。

🚀 クイックスタート

このモデルを使用する前に、必要なライブラリをインストールする必要があります。以下の手順に従って、モデルを使用できるようにしましょう。

✨ 主な機能

• 様々なタスクでの高性能を実現
• 教師付き微調整による精度向上
• オープンソースでコードや学習詳細を公開

📦 インストール

OLMo 2 1Bは、transformers v4.48以上でサポートされています。以下のコマンドを実行して、必要なライブラリをインストールしましょう。

pip install transformers>=4.48

vLLMを使用する場合は、v0.7.4がリリースされるまで、メインブランチからインストールする必要があります。

💻 使用例

基本的な使用法

HuggingFaceを使用してモデルをロードするには、以下のコードを使用します。

from transformers import AutoModelForCausalLM

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-SFT")

高度な使用法

チャットテンプレートを使用する場合は、以下の形式に従います。

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

または、改行を展開した形式でも使用できます。

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

このテンプレートは、tokenizer.apply_chat_templateでも使用できます。

中間チェックポイントの使用

RL微調整の研究を容易にするために、モデルのRLVR学習中の中間チェックポイントを公開しています。 モデルの重みは、学習ステップ20ごとに保存されており、HuggingFaceリポジトリのリビジョンでアクセスできます。 例えば、以下のコードでロードできます。

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-SFT", revision="step_200")

📚 ドキュメント

モデルの説明

モデルのソース

• プロジェクトページ: https://allenai.org/olmo
• リポジトリ:
  • コアリポジトリ（学習、推論、微調整など）: https://github.com/allenai/OLMo-core
  • 評価コード: https://github.com/allenai/olmes
  • さらなる微調整コード: https://github.com/allenai/open-instruct
• 論文: https://arxiv.org/abs/2501.00656
• デモ: https://playground.allenai.org/

パフォーマンス

バイアス、リスク、および制限

OLMo-2モデルは、限られたセキュリティ学習を行っていますが、ChatGPTのように応答のループ内フィルタリングを自動的に行っていないため、問題のある出力を生成する可能性があります（特にそのように促された場合）。 この例については、Falcon 180Bモデルカードを参照してください。

📄 ライセンス

OLMo 2は、Apache 2.0ライセンスの下で公開されています。このモデルは、研究および教育目的での使用を想定しています。詳細については、責任ある使用ガイドラインをご覧ください。

引用

@article{olmo20242olmo2furious,
      title={2 OLMo 2 Furious}, 
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656}, 
}