Olmo2 11B SuperBPE T180k

🚀 SuperBPE

SuperBPE是一個110億參數的模型，它基於SuperBPE分詞器從頭開始訓練。SuperBPE對BPE算法進行了擴展，不僅包含傳統的子詞標記（位於單詞邊界內），還引入了全新的超級詞標記（包含多個單詞的部分）！在訓練和推理的浮點運算次數（FLOPs）方面，它與80億參數的BPE模型相當。

該模型採用了經過擴展的Olmo2 70億參數架構，並使用Olmo2 70億參數的預訓練數據進行訓練。其上下文長度為3000個標記（這與上下文長度為4096個標記的BPE模型在字節上的有效上下文大小相匹配），並且在2380億個標記上進行了訓練。分詞器的詞彙量為20萬個，當詞彙量達到18萬個時，開始從學習子詞標記過渡到學習超級詞標記。

🚀 快速開始

SuperBPE模型基於SuperBPE分詞器從頭開始訓練，在訓練和推理的FLOPs方面與80億參數的BPE模型相當。下面為你介紹它的使用方法。

✨ 主要特性

• 擴展的BPE算法：SuperBPE擴展了傳統的BPE算法，引入了超級詞標記，能夠包含多個單詞的部分。
• 匹配FLOPs：在訓練和推理的FLOPs方面，與80億參數的BPE模型相當。
• 特定的上下文長度：模型的上下文長度為3000個標記，與特定BPE模型的有效上下文大小相匹配。
• 大規模訓練：在2380億個標記上進行訓練。
• 詞彙量及過渡：分詞器的詞彙量為20萬個，在詞彙量達到18萬個時，從學習子詞標記過渡到學習超級詞標記。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用信息

如果你在研究中使用了本模型，請使用以下BibTeX引用：

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}

📦 模型信息