Olmo2 8B SuperBPE T180k

🚀 SuperBPE

このモデルは、SuperBPEトークナイザーを用いてゼロから学習された80億パラメータのモデルです。SuperBPEは、BPEアルゴリズムを拡張し、単語境界内に含まれる従来のサブワードトークンだけでなく、複数の単語の一部を含む新しいスーパーワードトークンも含むようになっています。同じ量のテキストをより少ないトークンでエンコードできるため、このモデルはBPEで学習されたモデルと比較して、推論時の効率が平均で27%向上しています。

このモデルはOlmo2 70億パラメータのアーキテクチャと事前学習データを用いて学習されています。コンテキスト長は3,000トークン（コンテキスト長4,096トークンのBPEモデルのバイト単位の有効コンテキストサイズに合わせるため）で、3310億トークンで学習されています。トークナイザーの語彙サイズは20万で、語彙サイズ18万でサブワードの学習からスーパーワードトークンの学習に移行します。

🚀 クイックスタート

このセクションでは、SuperBPEモデルの基本的な使い方を説明します。以下の手順に従って、モデルを使用してみましょう。

✨ 主な機能

• 効率的な推論：SuperBPEトークナイザーを使用することで、同じ量のテキストをより少ないトークンでエンコードできるため、推論時の効率が平均で27%向上します。
• 拡張されたトークン化：SuperBPEは、BPEアルゴリズムを拡張し、サブワードトークンだけでなく、複数の単語の一部を含むスーパーワードトークンもサポートしています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# ['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

📚 ドキュメント

このモデルに関する詳細な情報は、以下の論文を参照してください。

• 論文タイトル: SuperBPE: Space Travel for Language Models
• 著者: Alisa Liu, Jonathan Hayase, Valentin Hofmann, Sewoong Oh, Noah A. Smith, Yejin Choi
• 発行年: 2025

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

引用

このモデルを引用する場合は、以下のBibTeXエントリを使用してください。

@misc{liu-etal-2025-superbpe,
  title={SuperBPE: Space Travel for Language Models}, 
  author={Alisa Liu and Jonathan Hayase and Valentin Hofmann and Sewoong Oh and Noah A. Smith and Yejin Choi},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}

情報テーブル