Olmo2 8B SuperBPE T180k

🚀 SuperBPE

SuperBPE是一个80亿参数的模型，使用SuperBPE分词器从头开始训练。它扩展了BPE算法，引入了超词标记，在推理时比传统BPE模型平均效率提高27%。

🚀 快速开始

SuperBPE模型是基于Olmo2 7B架构和预训练数据进行训练的。该模型的上下文长度为3000个标记（这与上下文长度为4096个标记的BPE模型在字节上的有效上下文大小相匹配），并且在3310亿个标记上进行了训练。分词器的词汇量为20万个，在词汇量达到18万个时从学习子词过渡到学习超词标记。

✨ 主要特性

• 创新的分词算法：SuperBPE 扩展了传统的BPE算法，不仅包含传统的子词标记（位于单词边界内），还引入了新的 超词 标记（包含多个单词的部分）。
• 推理效率提升：由于使用更少的标记来编码相同数量的文本，与使用BPE训练的模型相比，该模型在推理时平均 效率提高了27%。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

📄 许可证

本项目采用Apache-2.0许可证。

📚 详细文档

引用信息

如果您在研究中使用了本模型，请引用以下论文：

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}

模型信息