Olmo2 8B SuperBPE T160k

🚀 SuperBPE

この80億パラメータのモデルは、SuperBPEトークナイザーを用いてゼロから学習されました。SuperBPEは、BPEアルゴリズムを拡張し、従来のサブワードトークンに加えて、新しい「スーパーワード」トークンを含むようになっています。これにより、同じ量のテキストをより少ないトークンでエンコードできるため、推論時の効率が平均で30%向上します。

🚀 クイックスタート

この80億パラメータのモデルは、SuperBPEトークナイザーを用いてゼロから学習されました。SuperBPEは、BPEアルゴリズムを拡張し、従来のサブワードトークン（単語境界内に含まれる）に加えて、新しいスーパーワードトークン（複数の単語の一部を含む）を含むようになっています。同じ量のテキストをより少ないトークンでエンコードできるため、このモデルはBPEで学習されたモデルと比較して、推論時の効率が平均で30%向上します。

このモデルは、Olmo2 7Bアーキテクチャと事前学習データを用いて学習されました。コンテキスト長は2,884トークン（コンテキスト長4,096トークンのBPEモデルのバイト単位の実効コンテキストサイズに一致するように）で、3320億トークンで学習されています。トークナイザーの語彙サイズは20万で、語彙サイズ16万でサブワードからスーパーワードトークンの学習に移行します。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠamĠa', 'ĠfanĠofĠthe', 'ĠMilkyĠWay', '.']

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}