Olmo2 11B SuperBPE T180k

🚀 SuperBPE

この110億パラメータのモデルは、SuperBPEトークナイザーを用いてゼロから学習されました。SuperBPEは、BPEアルゴリズムを拡張して、従来のサブワードトークン（単語境界内に含まれるもの）だけでなく、新しいスーパーワードトークン（複数の単語の一部を含むもの）も含めるようになっています！ このモデルは、学習時と推論時のFLOPsにおいて、80億パラメータのBPEモデルと同等の性能を発揮します。

このモデルは、Olmo2 7Bアーキテクチャの拡張版とOlmo2 7Bの事前学習データを用いて学習されました。コンテキスト長は3,000トークン（コンテキスト長4,096トークンのBPEモデルのバイト単位の有効コンテキストサイズに合わせて）で、2380億トークンで学習されています。トークナイザーの語彙サイズは20万で、語彙サイズが18万に達すると、サブワードの学習からスーパーワードトークンの学習に移行します。

📦 インストール

このREADMEに具体的なインストール手順は記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

高度な使用法

このREADMEに高度な使用法のコード例は記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

このREADMEに詳細な説明は記載されていないため、このセクションは省略されます。

🔧 技術詳細

このREADMEに具体的な技術詳細は記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}