Llm Jp Modernbert Base

🚀 llm-jp-modernbert-base

このモデルは、modernBERT-baseアーキテクチャとllm-jp-tokenizerをベースに構築されています。llm-jp-corpus v4の日本語サブセット（3.4TB）を使用して学習され、最大シーケンス長8192をサポートしています。

学習方法、評価、および分析結果の詳細については、llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Lengthをご覧ください。

🚀 クイックスタート

📦 インストール

transformersライブラリをインストールしてください。

pip install "transformers>=4.48.0"

GPUがflash-attn 2をサポートしている場合は、flash-attnのインストールをおすすめします。

pip install flash-attn --no-build-isolation

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "llm-jp/llm-jp-modernbert-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "日本の首都は<MASK|LLM-jp>です。"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  東京

🔧 技術詳細

学習

このモデルは、第1段階で最大シーケンス長1024、第2段階で最大シーケンス長8192で学習されました。

学習コードは、https://github.com/llm-jp/llm-jp-modernbert で確認できます。

評価

JGLUEのJSTS、JNLI、およびJCoLAが使用されました。 評価コードは、https://github.com/llm-jp/llm-jp-modernbert で確認できます。

📄 ライセンス

Apache License, Version 2.0

引用

@misc{sugiura2025llmjpmodernbertmodernbertmodeltrained,
      title={llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length}, 
      author={Issa Sugiura and Kouta Nakayama and Yusuke Oda},
      year={2025},
      eprint={2504.15544},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15544}, 
}