Olmo 2 0325 32B

🚀 OLMo 2 32B模型

OLMo 2 32B是OLMo 2系列中最大的模型，基於Transformer架構的自迴歸語言模型，在自然語言處理領域表現出色，可用於文本生成、語言理解等多種任務。

🚀 快速開始

你可以使用標準的HuggingFace transformers庫來使用OLMo 2 32B模型進行推理。以下是一個簡單的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0325-32B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# 可選：驗證cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
>> 'Language modeling is  a key component of any text-based application, but its effectiveness...'

✨ 主要特性

• 多種規模可選：提供了7B、13B和32B等不同規模的模型，滿足不同場景的需求。
• 多階段訓練：經過預訓練、中間訓練和後訓練等多個階段，提升模型性能。
• 支持量化：可以對模型進行量化，提高推理速度。

📦 安裝指南

OLMo 2 32B支持transformers v4.48或更高版本，你可以使用以下命令進行安裝：

pip install transformers>=4.48

如果你使用vLLM，需要從主分支安裝，直到v0.7.4版本發佈。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0325-32B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# 可選：驗證cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
>> 'Language modeling is  a key component of any text-based application, but its effectiveness...'

高級用法

為了獲得更快的性能，你可以使用以下方法對模型進行量化：

AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B",
    torch_dtype=torch.float16,
    load_in_8bit=True)  # 需要bitsandbytes庫

量化後的模型對數據類型和CUDA操作更為敏感。為避免潛在問題，建議直接將輸入傳遞給CUDA：

inputs.input_ids.to('cuda')

📚 詳細文檔

模型描述

模型來源

• 項目頁面：https://allenai.org/olmo
• 倉庫：
  • 核心倉庫（訓練、推理、微調等）：https://github.com/allenai/OLMo-core
  • 評估代碼：https://github.com/allenai/OLMo-Eval
  • 進一步微調代碼：https://github.com/allenai/open-instruct
• 論文：https://arxiv.org/abs/2501.00656

評估結果

訓練詳情

階段1：初始預訓練

• 數據集：OLMo-mix-1124 (3.9T個標記)
• 覆蓋率：超過95%的總預訓練預算
• 32B模型：約1.5個週期

階段2：中間訓練

• 數據集：Dolmino-Mix-1124
• 兩種訓練混合：
  • 1000億個標記
  • 3000億個標記
• 混合組成：50%高質量網絡數據 + 學術/問答/指令/數學內容

模型合併

• 32B模型：在100B混合上的3個版本 + 在300B混合上的1個版本，合併為最終檢查點

🔧 技術細節

微調

模型微調可以從最終檢查點（此模型的main版本）或許多中間檢查點開始。有兩種微調方法可供選擇：

1. 使用OLMo-core倉庫進行微調：

torchrun --nproc-per-node=8 ./src/scripts/official/OLMo2-0325-32B-train.py run01

你可以從命令行覆蓋大多數配置選項。例如，要覆蓋學習率，可以這樣啟動腳本：

torchrun --nproc-per-node=8 ./src/scripts/train/OLMo2-0325-32B-train.py run01 --train_module.optim.lr=6e-3

更多文檔請參閱GitHub README。 2. AI2的Open Instruct倉庫正在開發進一步的微調支持。詳情請見此處。

加載特定版本

要使用HuggingFace加載特定的模型版本，只需添加revision參數：

olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B", revision="step250000-tokens2098B")

或者，你可以通過以下代碼片段訪問模型的所有版本：

from huggingface_hub import list_repo_refs
out = list_repo_refs("allenai/OLMo-2-0325-32B")
branches = [b.name for b in out.branches]

📄 許可證

代碼和模型遵循Apache 2.0許可證。

⚠️ 重要提示

與任何基礎或微調語言模型一樣，用戶可以通過提示讓AI生成有害和敏感內容。此類內容也可能無意中產生，特別是在涉及偏差的情況下，因此我們建議用戶在應用此技術時考慮風險。此外，OLMo或任何大語言模型的許多陳述往往不準確，因此應核實事實。

引用

@misc{olmo20242olmo2furious,
      title={{2 OLMo 2 Furious}},
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656},
}

模型卡片聯繫信息

如果此模型卡片存在錯誤，請聯繫olmo@allenai.org。