Olmo 2 0325 32B

🚀 OLMo 2 32B模型

OLMo 2 32B是OLMo 2系列中最大的模型，基于Transformer架构的自回归语言模型，在自然语言处理领域表现出色，可用于文本生成、语言理解等多种任务。

🚀 快速开始

你可以使用标准的HuggingFace transformers库来使用OLMo 2 32B模型进行推理。以下是一个简单的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0325-32B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# 可选：验证cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
>> 'Language modeling is  a key component of any text-based application, but its effectiveness...'

✨ 主要特性

• 多种规模可选：提供了7B、13B和32B等不同规模的模型，满足不同场景的需求。
• 多阶段训练：经过预训练、中间训练和后训练等多个阶段，提升模型性能。
• 支持量化：可以对模型进行量化，提高推理速度。

📦 安装指南

OLMo 2 32B支持transformers v4.48或更高版本，你可以使用以下命令进行安装：

pip install transformers>=4.48

如果你使用vLLM，需要从主分支安装，直到v0.7.4版本发布。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-0325-32B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# 可选：验证cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])
>> 'Language modeling is  a key component of any text-based application, but its effectiveness...'

高级用法

为了获得更快的性能，你可以使用以下方法对模型进行量化：

AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B",
    torch_dtype=torch.float16,
    load_in_8bit=True)  # 需要bitsandbytes库

量化后的模型对数据类型和CUDA操作更为敏感。为避免潜在问题，建议直接将输入传递给CUDA：

inputs.input_ids.to('cuda')

📚 详细文档

模型描述

模型来源

• 项目页面：https://allenai.org/olmo
• 仓库：
  • 核心仓库（训练、推理、微调等）：https://github.com/allenai/OLMo-core
  • 评估代码：https://github.com/allenai/OLMo-Eval
  • 进一步微调代码：https://github.com/allenai/open-instruct
• 论文：https://arxiv.org/abs/2501.00656

评估结果

训练详情

阶段1：初始预训练

• 数据集：OLMo-mix-1124 (3.9T个标记)
• 覆盖率：超过95%的总预训练预算
• 32B模型：约1.5个周期

阶段2：中间训练

• 数据集：Dolmino-Mix-1124
• 两种训练混合：
  • 1000亿个标记
  • 3000亿个标记
• 混合组成：50%高质量网络数据 + 学术/问答/指令/数学内容

模型合并

• 32B模型：在100B混合上的3个版本 + 在300B混合上的1个版本，合并为最终检查点

🔧 技术细节

微调

模型微调可以从最终检查点（此模型的main版本）或许多中间检查点开始。有两种微调方法可供选择：

1. 使用OLMo-core仓库进行微调：

torchrun --nproc-per-node=8 ./src/scripts/official/OLMo2-0325-32B-train.py run01

你可以从命令行覆盖大多数配置选项。例如，要覆盖学习率，可以这样启动脚本：

torchrun --nproc-per-node=8 ./src/scripts/train/OLMo2-0325-32B-train.py run01 --train_module.optim.lr=6e-3

更多文档请参阅GitHub README。 2. AI2的Open Instruct仓库正在开发进一步的微调支持。详情请见此处。

加载特定版本

要使用HuggingFace加载特定的模型版本，只需添加revision参数：

olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-0325-32B", revision="step250000-tokens2098B")

或者，你可以通过以下代码片段访问模型的所有版本：

from huggingface_hub import list_repo_refs
out = list_repo_refs("allenai/OLMo-2-0325-32B")
branches = [b.name for b in out.branches]

📄 许可证

代码和模型遵循Apache 2.0许可证。

⚠️ 重要提示

与任何基础或微调语言模型一样，用户可以通过提示让AI生成有害和敏感内容。此类内容也可能无意中产生，特别是在涉及偏差的情况下，因此我们建议用户在应用此技术时考虑风险。此外，OLMo或任何大语言模型的许多陈述往往不准确，因此应核实事实。

引用

@misc{olmo20242olmo2furious,
      title={{2 OLMo 2 Furious}},
      author={Team OLMo and Pete Walsh and Luca Soldaini and Dirk Groeneveld and Kyle Lo and Shane Arora and Akshita Bhagia and Yuling Gu and Shengyi Huang and Matt Jordan and Nathan Lambert and Dustin Schwenk and Oyvind Tafjord and Taira Anderson and David Atkinson and Faeze Brahman and Christopher Clark and Pradeep Dasigi and Nouha Dziri and Michal Guerquin and Hamish Ivison and Pang Wei Koh and Jiacheng Liu and Saumya Malik and William Merrill and Lester James V. Miranda and Jacob Morrison and Tyler Murray and Crystal Nam and Valentina Pyatkin and Aman Rangapur and Michael Schmitz and Sam Skjonsberg and David Wadden and Christopher Wilhelm and Michael Wilson and Luke Zettlemoyer and Ali Farhadi and Noah A. Smith and Hannaneh Hajishirzi},
      year={2024},
      eprint={2501.00656},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.00656},
}

模型卡片联系信息

如果此模型卡片存在错误，请联系olmo@allenai.org。