Rumodernbert Base

🚀 RuModernBERT-base

現代化された双方向エンコーダ専用TransformerモデルであるModernBERTのロシア語版です。RuModernBERTは、インターネット、書籍、科学資料、ソーシャルメディアなどのデータを用いて、ロシア語、英語、コードデータの約2兆トークンで最大8,192トークンのコンテキスト長で事前学習されています。

🚀 クイックスタート

GPUが対応している場合は、transformersを更新し、flash-attnをインストールすることを忘れないでください。

from transformers import AutoTokenizer, AutoModelForMaskedLM

# モデルの準備
model_id = "deepvk/RuModernBERT-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, attn_implementation="flash_attention_2")
model = model.eval()

# 入力の準備
text = "Лимончелло это настойка из [MASK]."
inputs = tokenizer(text, return_tensors="pt")
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)

# 予測
outputs = model(**inputs)

# 予測結果の表示
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  лимона

🔧 技術詳細

これは1億5000万のパラメータを持つベースバージョンで、ModernBERT-baseと同じ構成です。重要な違いは、このモデルを事前学習するために使用したデータにあります。

トークナイザー

元の構成に従って新しいトークナイザーを学習させました。語彙サイズを維持し、同じ特殊トークンを追加しました。トークナイザーはFineWebのロシア語と英語の混合データで学習されました。

データセット

事前学習には、大規模事前学習、コンテキスト拡張、冷却期の3つの主要な段階が含まれます。元のモデルとは異なり、すべての段階で同じデータを使用していません。2段階目と3段階目には、よりクリーンなデータソースを使用しています。

コンテキスト長

1段階目では、コンテキスト長を1,024でモデルを学習させました。2段階目と3段階目では、8,192に拡張しました。

📚 ドキュメント

モデルの評価には、encodechkaとRussian Super Glue (RSG)のベンチマークで品質を測定しています。RSGについては、最適なハイパーパラメータをグリッドサーチし、dev分割のメトリクスを報告しています。

公平な比較のために、RuModernBERTモデルは、検索または文埋め込みタスクで学習されていない生のエンコーダとのみ比較しています。

Russian Super Glue

Encodechka

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。

引用

@misc{deepvk2025rumodernbert,
    title={RuModernBERT: Modernized BERT for Russian},
    author={Spirin, Egor and Malashenko, Boris and Sokolov Andrey},
    url={https://huggingface.co/deepvk/rumodernbert-base},
    publisher={Hugging Face}
    year={2025},
}