Flexolmo 7x7B 1T RT

🚀 FlexOlmo - 靈活數據協作的新型語言模型

FlexOlmo 是一種新型的大語言模型，它開啟了數據協作的全新範式。藉助 FlexOlmo，數據所有者能夠在不放棄數據控制權的前提下，為開源語言模型的發展貢獻力量。無需直接共享原始數據，數據貢獻者可以決定其數據何時在模型中生效，隨時停用數據，並在數據用於推理時獲得相應的認可。

🚀 快速開始

安裝與使用

安裝 transformers 從 此源 並運行以下代碼：

from transformers import Olmoe2ForCausalLM, AutoTokenizer
import torch

DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

MODEL_NAME = "allenai/FlexOlmo-7x7B-1T"
model = Olmoe2ForCausalLM.from_pretrained(MODEL_NAME).to(DEVICE)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
inputs = tokenizer("Bitcoin is", return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}
out = model.generate(**inputs, max_length=64)
print(tokenizer.decode(out[0]))

✨ 主要特性

FlexOlmo-7x7B-1T（未進行路由訓練）是一個混合專家模型，總參數達 330 億。它結合了在公共混合數據、新聞、數學、代碼、學術文本、創意寫作和 Reddit 數據上獨立訓練的專家模型。公共混合專家模型在 1 萬億個公共數據令牌上進行訓練，而其他專家模型則從公共混合專家模型分支而來，並在各自的 500 億個數據令牌上進行訓練。

📚 詳細文檔

模型信息鏈接

• 論文：https://allenai.org/papers/flexolmo
• 代碼：https://github.com/allenai/FlexOlmo
• 博客：https://allenai.org/blog/flexolmo
• 數據及對應模型： | 語料庫 | 公共數據 | 數學 | 新聞 | 學術 | 代碼 | 創意寫作 | Reddit | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | 模型 | Flex-public-7B-1T | Flex-math-2x7B-1T | Flex-news-2x7B-1T | Flex-pes2o-2x7B-1T | Flex-code-2x7B-1T | Flex-creative-2x7B-1T | Flex-reddit-2x7B-1T |

評估快照

• 單個模型的評估指的是密集模型，而非 2x7B 的混合專家模型。

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

@misc{flexolmo,
      title={FlexOlmo: Open Language Models for Flexible Data Use}, 
      author={Weijia Shi and Akshita Bhagia and Kevin Farhat and Niklas Muennighoff and Pete Walsh and Jacob Morrison and Dustin Schwenk and Shayne Longpre and Jake Poznanski and Allyson Ettinger and Daogao Liu and Margaret Li and Mike Lewis and Wen-tau Yih and Dirk Groeneveld and Luca Soldaini and Kyle Lo and Noah A. Smith and Luke Zettlemoyer and Pang Wei Koh and Hannaneh Hajishirzi and Ali Farhadi and Sewon Min},
      year={2025},
      eprint={2507.00000},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://allenai.org/papers/flexolmo}, 
}