Llm Jp Modernbert Base

🚀 llm-jp-modernbert-base

本模型基於 modernBERT-base 架構，並使用 llm-jp-tokenizer。它使用 llm-jp-corpus v4 的日語子集（3.4TB）進行訓練，支持的最大序列長度為 8192。

如需瞭解訓練方法、評估和分析結果的詳細信息，請訪問 llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length。

🚀 快速開始

請安裝 transformers 庫。

pip install "transformers>=4.48.0"

如果你的 GPU 支持 flash-attn 2，建議安裝 flash-attn。

pip install flash-attn --no-build-isolation

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "llm-jp/llm-jp-modernbert-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "日本の首都は<MASK|LLM-jp>です。"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  東京

📚 詳細文檔

訓練

此模型在第一階段以最大序列長度 1024 進行訓練，然後在第二階段以最大序列長度 8192 進行訓練。

訓練代碼可在 https://github.com/llm-jp/llm-jp-modernbert 找到。

階段 2 中的空白表示與階段 1 的值相同。

評估

使用了來自 JGLUE 的 JSTS、JNLI 和 JCoLA 進行評估。

評估代碼可在 https://github.com/llm-jp/llm-jp-modernbert 找到。

📄 許可證

Apache 許可證，版本 2.0

🔖 引用

@misc{sugiura2025llmjpmodernbertmodernbertmodeltrained,
      title={llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length}, 
      author={Issa Sugiura and Kouta Nakayama and Yusuke Oda},
      year={2025},
      eprint={2504.15544},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15544}, 
}