Modernbert Base Tr Uncased

🚀 Artiwise ModernBERT - ベーストルコ語アンケースド

私たちはトルコ語向けのArtiwise ModernBERTをご紹介します🎉。これは、アーキテクチャが最新化され、コンテキストサイズが拡大されたBERTモデルです。（旧型のBERTモデルは512トークン --> ModernBERTは8192トークン）。

このモデルは、ModernBERTのトルコ語版で、answerdotai/ModernBERT-base をベースに、CulturaXのトルコ語部分のみを使用してファインチューニングされています。

📚 詳細情報

統計情報

ベンチマーク

以下のベンチマーク結果は、Artiwise ModernBERTが複数のドメインとマスキングレベルにわたって既存のトルコ語BERTモデルを一貫して上回り、優れた汎化能力を持つことを示しています。

各データセット（QA、レビュー、バイオメディカル）と各マスキングレベル（5％、10％、15％）について、入力例の指定された割合のトークンをランダムにマスクし、各モデルがマスクされたトークンを正しく予測する能力を測定しました。すべてのモデルはbfloat16精度で使用されました。

実験では、トルコ語バイオメディカルコーパス、トルコ語製品レビューデータセット、および一般ドメインのQAコーパス turkish_v2 の3つのデータセットを使用しました。

💻 使用例

基本的な使用法

⚠️ 重要提示

モデルを正常に機能させるには、Torchバージョンが >= 2.6.0 で、transformersバージョンが >= 4.50.0 である必要があります。また、トークナイザーで do_lower_case = True フラグを使用しないでください。代わりに、以下のようにテキストを小文字に変換してください。

text.replace("I", "ı").lower()

これは、トークナイザーの既知の問題によるものです。

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

# モデルとトークナイザーをロード
tokenizer = AutoTokenizer.from_pretrained("artiwise-ai/modernbert-base-tr-uncased")
model = AutoModelForMaskedLM.from_pretrained("artiwise-ai/modernbert-base-tr-uncased")

# マスクトークンを含む例の文章
text = "Türkiye'nin başkenti [MASK]'dır."
text.replace("I", "ı").lower()

# トークン化して入力を準備
inputs = tokenizer(text, return_tensors="pt")

# マスクトークンの位置を取得
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]

# 順伝播
with torch.no_grad():
    outputs = model(**inputs)

# マスクトークンの予測を取得
logits = outputs.logits
mask_token_logits = logits[0, mask_token_index, :]
top_5_tokens = torch.topk(mask_token_logits, 5, dim=1).indices[0].tolist()

# 予測を表示
print(f"Original text: {text}")
print("Top 5 predictions for [MASK]:")
for token in top_5_tokens:
    print(f"- {tokenizer.decode([token])}")

📄 ライセンス

このライブラリはMITライセンスの下で提供されています。