Jp ModernBERT Large Preview

🚀 makiart/jp-modernbert-large-preview

このモデルは、ABCI 生成AIハッカソンで提供された計算資源を活用し、Algomaticチームによって作成されました。

🚀 クイックスタート

📦 インストール

トークナイザーにBertJapaneseTokenizerを利用しているため、下記のパッケージを追加でインストールする必要があります。

pip install -U transformers>=4.48.0

pip install fugashi unidic_lite

GPUがFlashAttentionに対応している場合、下記のインストールを行うと効率よく推論できます。

pip install flash-attn --no-build-isolation

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer, pipeline

model = AutoModelForMaskedLM.from_pretrained("makiart/jp-ModernBERT-large-preview", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("makiart/jp-ModernBERT-large-preview")
fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)

results = fill_mask("我々の大方の苦悩は、あり得べき別の[MASK]を夢想することから始まる。")

for result in results:
    print(result)

# {'score': 0.16015625, 'token': 12489, 'token_str': 'こと', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の こと を 夢想 する こと から 始まる 。'}
# {'score': 0.09716796875, 'token': 12518, 'token_str': 'もの', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の もの を 夢想 する こと から 始まる 。'}
# {'score': 0.043212890625, 'token': 12575, 'token_str': '世界', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 世界 を 夢想 する こと から 始まる 。'}
# {'score': 0.03369140625, 'token': 29991, 'token_str': '事柄', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 事柄 を 夢想 する こと から 始まる 。'}
# {'score': 0.0296630859375, 'token': 655, 'token_str': '事', 'sequence': '我々 の 大方 の 苦悩 は 、 あり 得 べき 別 の 事 を 夢想 する こと から 始まる 。'}

📚 ドキュメント

🔧 技術詳細

• baseモデルの重みをtile weights from middleする
• 8192のコンテキスト長で約100B Tokens
• トークナイザーはtohoku-nlp/bert-base-japanese-v3をベースとしています
  • 語彙数は50,368です
• データセット
  • fineweb2の日本語データのみを利用
• 計算資源
  • ABCIから提供いただいた計算資源のうち1ノード(H200 x 8)を利用し、約2日間の間で学習

📊 評価

ちゃんとした評価はできていません😭 総合学習トークン数的に既存のモデルよりも劣ることが予想されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。