license: apache-2.0 language:

• en library_name: transformers

モデル詳細

OLMo 2 1B モデルカード

OLMo 2ファミリーで最小のモデルであるOLMo 2 1Bを紹介します。 OLMo 2はOLMo-mix-1124で事前学習され、 Dolmino-mix-1124を中間学習に使用しています。

OLMo 2は、言語モデルの科学を可能にするために設計されたOpen Language Modelsシリーズの最新版です。 すべてのコード、チェックポイント、ログ、および関連するトレーニング詳細をGitHubで公開しています。

このバッチでリリースされたコアモデルは以下の通りです：

インストール

OLMo 2 1Bはtransformers v4.48以上でサポートされています：

pip install transformers>=4.48

vLLMを使用する場合、v0.7.4がリリースされるまでメインブランチからインストールする必要があります。

推論

標準のHuggingFace transformersライブラリでOLMoを使用できます：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0425-1B")
message = ["言語モデリングは "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# CUDAのオプション確認
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
>> '言語モデリングは テキストベースのアプリケーションの重要なコンポーネントですが、その効果は...'

より高速なパフォーマンスを得るために、以下の方法でモデルを量子化できます：

AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B",
    torch_dtype=torch.float16,
    load_in_8bit=True)  # bitsandbytesが必要

量子化されたモデルはデータ型とCUDA操作に敏感です。潜在的な問題を避けるために、入力を直接CUDAに渡すことをお勧めします：

inputs.input_ids.to('cuda')

これらのモデルのチェックポイントをリリースしています。事前学習の場合、命名規則はstage1-stepXXX-tokensYYYBです。スープの成分を含むチェックポイントの場合、命名規則はstage2-ingredientN-stepXXX-tokensYYYBです。

HuggingFaceで特定のモデルリビジョンをロードするには、単にrevision引数を追加します：

olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B", revision="stage1-step140000-tokens294B")

または、以下のコードスニペットでモデルのすべてのリビジョンにアクセスできます：

from huggingface_hub import list_repo_refs
out = list_repo_refs("allenai/OLMo-2-0425-1B")
branches = [b.name for b in out.branches]

ファインチューニング

モデルのファインチューニングは、最終チェックポイント（このモデルのmainリビジョン）または多くの中間チェックポイントから行うことができます。2つのチューニングレシピが利用可能です。

1. OLMoリポジトリでファインチューニング：

torchrun --nproc_per_node=8 scripts/train.py {path_to_train_config} \
    --data.paths=[{path_to_data}/input_ids.npy] \
    --data.label_mask_paths=[{path_to_data}/label_mask.npy] \
    --load_path={path_to_checkpoint} \
    --reset_trainer_state

詳細なドキュメントはGitHub READMEを参照してください。

2. AI2のOpen Instructリポジトリでさらにファインチューニングのサポートが開発中です。詳細はこちらです。

モデル説明

• 開発者: Allen Institute for AI (Ai2)
• モデルタイプ: Transformerスタイルの自己回帰言語モデル
• 言語 (NLP): 英語
• ライセンス: コードとモデルはApache 2.0でリリースされています。
• 連絡先: 技術的な問い合わせ: olmo@allenai.org。プレス: press@allenai.org
• データカットオフ: 2023年12月

モデルソース

• プロジェクトページ: https://allenai.org/olmo
• リポジトリ:
  • コアリポジトリ（トレーニング、推論、ファインチューニングなど）: https://github.com/allenai/OLMo
  • 評価コード: https://github.com/allenai/OLMo-Eval
  • さらにファインチューニングコード: https://github.com/allenai/open-instruct
• 論文: https://arxiv.org/abs/2501.00656

評価

OLMo 2 1Bのコアモデル結果は以下の通りです。

モデル詳細

トレーニング

ステージ1: 初期事前学習

• データセット: OLMo-mix-1124 (3.9Tトークン)
• カバレッジ: 総事前学習予算の95%以上
• 1Bモデル: ~1エポック

ステージ2: 中間学習

• データセット: Dolmino-Mix-1124
• 1つのトレーニングミックス:
  • 50Bトークン
• ミックス構成: 50%高品質ウェブデータ + 学術/Q&A/指示/数学コンテンツ

モデルマージング

• 1Bモデル: 50Bミックスで1バージョンのみトレーニング、マージは行わず。

バイアス、リスク、制限

ベースまたはファインチューニングされた言語モデルと同様に、AIはユーザーによって有害でセンシティブなコンテンツを生成するように促される可能性があります。特にバイアスに関連するケースでは、このようなコンテンツが意図せず生成されることもあるため、この技術を適用する際にはリスクを考慮することをお勧めします。さらに、OLMoや他のLLMからの多くのステートメントはしばしば不正確であるため、事実を確認する必要があります。

引用

@misc{olmo20242olmo2furious,
      title={{2 OLMo 2 Furious}},
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656},
}

モデルカード連絡先

このモデルカードのエラーについては、olmo@allenai.orgまでご連絡ください。