Olmo 2 0425 1B Instruct

🚀 OLMo 2 1B Instruct April 2025

OLMo 2 1B Instruct April 2025是基於allenai/OLMo-2-0425-1B-RLVR1模型進行後續訓練的變體。它在特定的T端lu 3數據集上進行了有監督微調，在this dataset上進行了DPO訓練，並在this dataset上進行了最終的RLVR訓練。T端lu 3旨在除聊天外，在各種任務（如MATH、GSM8K和IFEval）上實現最先進的性能。查看OLMo 2論文或T端lu 3論文以獲取更多詳細信息！

OLMo是一系列開放語言模型，旨在推動語言模型科學的發展。這些模型在Dolma數據集上進行訓練。我們將發佈所有代碼、檢查點、日誌和相關訓練細節。

🚀 快速開始

OLMo 2 1B在transformers v4.48或更高版本中受支持，你可以使用以下命令進行安裝：

pip install transformers>=4.48

如果你使用vLLM，在v0.7.4發佈之前，你需要從主分支進行安裝。

✨ 主要特性

• 多階段訓練：經過監督微調、DPO訓練和RLVR訓練，在多種任務上表現出色。
• 開放資源：發佈所有代碼、檢查點、日誌和相關訓練細節，便於研究和開發。

📦 安裝指南

OLMo 2 1B支持transformers v4.48及以上版本，使用以下命令進行安裝：

pip install transformers>=4.48

💻 使用示例

基礎用法

使用HuggingFace加載模型：

from transformers import AutoModelForCausalLM

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-Instruct")

高級用法

聊天模板

注意：由於配置的細微變化，這與之前的OLMo 2和T端lu 3模型不同。它在其餘部分之前沒有bos標記。我們的其他模型在聊天模板的開頭有<|endoftext|>。

我們模型的聊天模板格式如下：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

或者展開換行符：

<|user|>
How are you doing?
<|assistant|>
I'm just a computer program, so I don't have feelings, but I'm functioning as expected. How can I assist you today?<|endoftext|>

它也嵌入在分詞器中，用於tokenizer.apply_chat_template。

中間檢查點

為了便於強化學習微調的研究，我們發佈了模型在RLVR訓練期間的中間檢查點。模型權重每20個訓練步驟保存一次，可以在HuggingFace倉庫的版本中訪問。例如，你可以使用以下代碼加載：

olmo_model = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0425-1B-Instruct", revision="step_200")

📚 詳細文檔

模型描述

模型來源

• 項目頁面：https://allenai.org/olmo
• 倉庫：
  • 核心倉庫（訓練、推理、微調等）：https://github.com/allenai/OLMo-core
  • 評估代碼：https://github.com/allenai/olmes
  • 進一步微調代碼：https://github.com/allenai/open-instruct
• 論文：https://arxiv.org/abs/2501.00656
• 演示：https://playground.allenai.org/

偏差、風險和侷限性

OLMo-2模型的安全訓練有限，並且不像ChatGPT那樣在循環中自動過濾響應，因此模型可能會產生有問題的輸出（特別是在被提示這樣做時）。

性能

📄 許可證

OLMo 2採用Apache 2.0許可證。該模型僅供研究和教育使用。更多信息請參閱負責任使用指南。

🔧 技術細節

模型描述

• 模型類型：在公開可用、合成和人工創建的數據集混合上訓練的模型。
• 語言 (NLP)：主要為英語。
• 許可證：Apache 2.0。
• 微調基礎模型：allenai/OLMo-2-0425-1B-RLVR1。

模型來源

• 項目頁面：https://allenai.org/olmo
• 倉庫：
  • 核心倉庫（訓練、推理、微調等）：https://github.com/allenai/OLMo-core
  • 評估代碼：https://github.com/allenai/olmes
  • 進一步微調代碼：https://github.com/allenai/open-instruct
• 論文：https://arxiv.org/abs/2501.00656
• 演示：https://playground.allenai.org/

📚 引用

@article{olmo20242olmo2furious,
      title={2 OLMo 2 Furious}, 
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656}, 
}