Olmo2 8B SuperBPE T180k

🚀 SuperBPE

SuperBPE是一個80億參數的模型，使用SuperBPE分詞器從頭開始訓練。它擴展了BPE算法，引入了超詞標記，在推理時比傳統BPE模型平均效率提高27%。

🚀 快速開始

SuperBPE模型是基於Olmo2 7B架構和預訓練數據進行訓練的。該模型的上下文長度為3000個標記（這與上下文長度為4096個標記的BPE模型在字節上的有效上下文大小相匹配），並且在3310億個標記上進行了訓練。分詞器的詞彙量為20萬個，在詞彙量達到18萬個時從學習子詞過渡到學習超詞標記。

✨ 主要特性

• 創新的分詞算法：SuperBPE 擴展了傳統的BPE算法，不僅包含傳統的子詞標記（位於單詞邊界內），還引入了新的 超詞 標記（包含多個單詞的部分）。
• 推理效率提升：由於使用更少的標記來編碼相同數量的文本，與使用BPE訓練的模型相比，該模型在推理時平均 效率提高了27%。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用信息

如果您在研究中使用了本模型，請引用以下論文：

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}

模型信息