Flexolmo 7x7B 1T RT

🚀 FlexOlmo - 灵活数据协作的新型语言模型

FlexOlmo 是一种新型的大语言模型，它开启了数据协作的全新范式。借助 FlexOlmo，数据所有者能够在不放弃数据控制权的前提下，为开源语言模型的发展贡献力量。无需直接共享原始数据，数据贡献者可以决定其数据何时在模型中生效，随时停用数据，并在数据用于推理时获得相应的认可。

🚀 快速开始

安装与使用

安装 transformers 从 此源 并运行以下代码：

from transformers import Olmoe2ForCausalLM, AutoTokenizer
import torch

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

MODEL_NAME = "allenai/FlexOlmo-7x7B-1T"
model = Olmoe2ForCausalLM.from_pretrained(MODEL_NAME).to(DEVICE)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
inputs = tokenizer("Bitcoin is", return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}
out = model.generate(**inputs, max_length=64)
print(tokenizer.decode(out[0]))

✨ 主要特性

FlexOlmo-7x7B-1T（未进行路由训练）是一个混合专家模型，总参数达 330 亿。它结合了在公共混合数据、新闻、数学、代码、学术文本、创意写作和 Reddit 数据上独立训练的专家模型。公共混合专家模型在 1 万亿个公共数据令牌上进行训练，而其他专家模型则从公共混合专家模型分支而来，并在各自的 500 亿个数据令牌上进行训练。

📚 详细文档

模型信息链接

• 论文：https://allenai.org/papers/flexolmo
• 代码：https://github.com/allenai/FlexOlmo
• 博客：https://allenai.org/blog/flexolmo
• 数据及对应模型： | 语料库 | 公共数据 | 数学 | 新闻 | 学术 | 代码 | 创意写作 | Reddit | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | 模型 | Flex-public-7B-1T | Flex-math-2x7B-1T | Flex-news-2x7B-1T | Flex-pes2o-2x7B-1T | Flex-code-2x7B-1T | Flex-creative-2x7B-1T | Flex-reddit-2x7B-1T |

评估快照

• 单个模型的评估指的是密集模型，而非 2x7B 的混合专家模型。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 引用

@misc{flexolmo,
      title={FlexOlmo: Open Language Models for Flexible Data Use}, 
      author={Weijia Shi and Akshita Bhagia and Kevin Farhat and Niklas Muennighoff and Pete Walsh and Jacob Morrison and Dustin Schwenk and Shayne Longpre and Jake Poznanski and Allyson Ettinger and Daogao Liu and Margaret Li and Mike Lewis and Wen-tau Yih and Dirk Groeneveld and Luca Soldaini and Kyle Lo and Noah A. Smith and Luke Zettlemoyer and Pang Wei Koh and Hannaneh Hajishirzi and Ali Farhadi and Sewon Min},
      year={2025},
      eprint={2507.00000},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://allenai.org/papers/flexolmo}, 
}