Modernbert Base Long Context Qe V1

🚀 機械翻訳の品質推定

このモデルは、answerdotai/ModernBERT-base を ymoslem/wmt-da-human-evaluation-long-context データセットでファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0214
• ピアソン相関係数: 0.5013
• 平均絶対誤差 (MAE): 0.1024
• 二乗平均平方根誤差 (RMSE): 0.1464
• 決定係数 (R2): 0.251

✨ 主な機能

このモデルは、機械翻訳（MT）システムの参照不要な長文脈品質推定（QE）に使用されます。最大32文（ソースとターゲットで合計64文）からなる翻訳ペアのデータセットで学習されているため、文書レベルの品質推定に適しています。

📦 インストール

必要なライブラリをインストールします。

pip3 install --upgrade datasets accelerate transformers
pip3 install --upgrade flash_attn triton

💻 使用例

基本的な使用法

# テストデータセットをロードする
from datasets import load_dataset

test_dataset = load_dataset("ymoslem/wmt-da-human-evaluation",
                             split="test",
                             trust_remote_code=True
                            )
print(test_dataset)

# モデルとトークナイザーをロードする
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

# ファインチューニング済みのモデルとトークナイザーをロードする
model_name = "ymoslem/ModernBERT-base-long-context-qe-v1"
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 利用可能な場合はモデルをGPUに移動する
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# データセットを準備する
sep_token = tokenizer.sep_token
input_test_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(test_dataset["src"], test_dataset["mt"])]

# 予測を生成する
from transformers import pipeline

classifier = pipeline("text-classification",
                      model=model_name,
                      tokenizer=tokenizer,
                      device=0,
                     )

predictions = classifier(input_test_texts,
                         batch_size=128,
                         truncation=True,
                         padding="max_length",
                         max_length=tokenizer.model_max_length,
                       )
predictions = [prediction["score"] for prediction in predictions]

高度な使用法

# 高度な推論コード
from torch.utils.data import DataLoader
import torch
from tqdm.auto import tqdm

# トークン化関数
def process_batch(batch, tokenizer, device):
    sep_token = tokenizer.sep_token
    input_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(batch["src"], batch["mt"])]
    tokens = tokenizer(input_texts,
                       truncation=True,
                       padding="max_length",
                       max_length=tokenizer.model_max_length,
                       return_tensors="pt",
                      ).to(device)
    return tokens

# バッチ処理用のDataLoaderを作成する
test_dataloader = DataLoader(test_dataset, 
                             batch_size=128,   # 必要に応じてバッチサイズを調整する
                             shuffle=False)

# すべての予測を格納するリスト
predictions = []

with torch.no_grad():
    for batch in tqdm(test_dataloader, desc="Inference Progress", unit="batch"):

        tokens = process_batch(batch, tokenizer, device)
        
        # 順伝播: モデルのロジットを生成する
        outputs = model(**tokens)

        # ロジット（予測値）を取得する
        logits = outputs.logits

        # 回帰予測値を抽出する
        batch_predictions = logits.squeeze()

        # 予測値をリストに追加する
        predictions.extend(batch_predictions.tolist())

📚 ドキュメント

モデルの詳細

このモデルは、機械翻訳システムの参照不要な長文脈品質推定に使用されます。最大32文（ソースとターゲットで合計64文）からなる翻訳ペアのデータセットで学習されているため、文書レベルの品質推定に適しています。

学習と評価データ

このモデルは、長文脈データセット ymoslem/wmt-da-human-evaluation-long-context で学習されています。機械翻訳の品質推定に使用される長文脈/文書レベルのデータセットは、文レベルのWMT DA Human Evaluationデータセットの拡張バージョンです。個々の文に加えて、各言語ペア lp と domain の2、4、8、16、32文の拡張データが含まれています。raw 列は、src と mt の文字数を重みとして使用した拡張文のスコアの加重平均を表します。

• 学習データ: 765万件の長文脈テキスト
• テストデータ: 59,235件の長文脈テキスト

学習手順

このモデルは、1台のH200 SXM（VRAM 143GB）で約26時間学習されました。

• tokenizer.model_max_length: 8192（全コンテキスト長）
• attn_implementation: flash_attention_2

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0003
• train_batch_size: 128
• eval_batch_size: 128
• seed: 42
• optimizer: OptimizerNames.ADAMW_TORCH_FUSEDを使用し、betas=(0.9,0.999)、epsilon=1e-08、optimizer_args=追加のオプティマイザ引数なし
• lr_scheduler_type: linear
• training_steps: 60000（約1エポック）

学習結果

フレームワークバージョン

• Transformers 4.48.1
• Pytorch 2.4.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

🔧 技術詳細

このモデルは、answerdotai/ModernBERT-base をベースに、ymoslem/wmt-da-human-evaluation-long-context データセットでファインチューニングされています。学習には、1台のH200 SXM（VRAM 143GB）が使用され、約26時間で学習が完了しました。ハイパーパラメータは、learning_rate=0.0003、train_batch_size=128、eval_batch_size=128、seed=42などが使用されました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📊 モデル情報