Olmo2 8B SuperBPE T160k

🚀 SuperBPE

SuperBPE是一個80億參數的模型，使用SuperBPE分詞器從頭開始訓練。它通過擴展BPE算法，引入超詞標記，在推理效率上比傳統BPE模型平均提升30%。

🚀 快速開始

SuperBPE模型是一個基於Olmo2 7B架構和預訓練數據訓練的語言模型。它使用了SuperBPE分詞器，該分詞器擴展了傳統的BPE算法，不僅包含傳統的子詞標記（位於單詞邊界內），還引入了新的超詞標記（包含多個單詞的部分）。由於能夠用更少的標記對相同數量的文本進行編碼，與使用BPE訓練的模型相比，該模型在推理時的效率平均提高了30%。

該模型的上下文長度為2,884個標記（以匹配上下文長度為4,096個標記的BPE模型在字節上的有效上下文大小），並在3320億個標記上進行了訓練。分詞器的詞彙量為20萬個，在詞彙量達到16萬個時從學習子詞標記過渡到學習超詞標記。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠamĠa', 'ĠfanĠofĠthe', 'ĠMilkyĠWay', '.']

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}

📦 模型信息