Llm Jp Modernbert Base

🚀 llm-jp-modernbert-base

本模型基于 modernBERT-base 架构，并使用 llm-jp-tokenizer。它使用 llm-jp-corpus v4 的日语子集（3.4TB）进行训练，支持的最大序列长度为 8192。

如需了解训练方法、评估和分析结果的详细信息，请访问 llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length。

🚀 快速开始

请安装 transformers 库。

pip install "transformers>=4.48.0"

如果你的 GPU 支持 flash-attn 2，建议安装 flash-attn。

pip install flash-attn --no-build-isolation

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "llm-jp/llm-jp-modernbert-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "日本の首都は<MASK|LLM-jp>です。"
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  東京

📚 详细文档

训练

此模型在第一阶段以最大序列长度 1024 进行训练，然后在第二阶段以最大序列长度 8192 进行训练。

训练代码可在 https://github.com/llm-jp/llm-jp-modernbert 找到。

阶段 2 中的空白表示与阶段 1 的值相同。

评估

使用了来自 JGLUE 的 JSTS、JNLI 和 JCoLA 进行评估。

评估代码可在 https://github.com/llm-jp/llm-jp-modernbert 找到。

📄 许可证

Apache 许可证，版本 2.0

🔖 引用

@misc{sugiura2025llmjpmodernbertmodernbertmodeltrained,
      title={llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length}, 
      author={Issa Sugiura and Kouta Nakayama and Yusuke Oda},
      year={2025},
      eprint={2504.15544},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.15544}, 
}