Modernbert Large Qe Maxlen512 V1

🚀 機械翻訳の品質推定

このモデルは、answerdotai/ModernBERT-large を ymoslem/wmt-da-human-evaluation データセットでファインチューニングしたバージョンです。

評価セットでは以下の結果を達成しています。

• 損失: 0.0564

✨ 主な機能

このモデルは、機械翻訳（MT）システムの参照なし品質推定（QE）に使用されます。

📦 インストール

必要なライブラリをインストールします。

pip3 install --upgrade datasets accelerate transformers
pip3 install --upgrade flash_attn triton

💻 使用例

基本的な使用法

# テストデータセットをロード
from datasets import load_dataset

test_dataset = load_dataset("ymoslem/wmt-da-human-evaluation",
                             split="test",
                             trust_remote_code=True
                            )
print(test_dataset)

# モデルとトークナイザーをロード
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

# ファインチューニング済みのモデルとトークナイザーをロード
model_name = "ymoslem/ModernBERT-large-qe-maxlen512-v1"
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 利用可能な場合はモデルをGPUに移動
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# データセットを準備
sep_token = tokenizer.sep_token
input_test_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(test_dataset["src"], test_dataset["mt"])]

# 予測を生成
from transformers import pipeline

classifier = pipeline("text-classification",
                      model=model_name,
                      tokenizer=tokenizer,
                      device=0,
                     )

predictions = classifier(input_test_texts,
                         batch_size=128,
                         truncation=True,
                         padding="max_length",
                         max_length=tokenizer.model_max_length,
                       )
predictions = [prediction["score"] for prediction in predictions]

高度な使用法

from torch.utils.data import DataLoader
import torch
from tqdm.auto import tqdm

# トークン化関数
def process_batch(batch, tokenizer, device):
    sep_token = tokenizer.sep_token
    input_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(batch["src"], batch["mt"])]
    tokens = tokenizer(input_texts,
                       truncation=True,
                       padding="max_length",
                       max_length=tokenizer.model_max_length,
                       return_tensors="pt",
                      ).to(device)
    return tokens
    

# バッチ処理用のDataLoaderを作成
test_dataloader = DataLoader(test_dataset, 
                             batch_size=128,   # 必要に応じてバッチサイズを調整
                             shuffle=False)


# すべての予測を格納するリスト
predictions = []

with torch.no_grad():
    for batch in tqdm(test_dataloader, desc="Inference Progress", unit="batch"):

        tokens = process_batch(batch, tokenizer, device)
        
        # 順伝播: モデルのロジットを生成
        outputs = model(**tokens)

        # ロジット（予測値）を取得
        logits = outputs.logits

        # 回帰予測値を抽出
        batch_predictions = logits.squeeze()

        # 予測値をリストに追加
        predictions.extend(batch_predictions.tolist())

📚 ドキュメント

トレーニング手順

トレーニングハイパーパラメータ

このバージョンのモデルは tokenizer.model_max_length=512 を使用しています。 全長8192のモデルは ymoslem/ModernBERT-large-qe-v1 で確認できます。

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 8e-05
• トレーニングバッチサイズ: 128
• 評価バッチサイズ: 128
• シード: 42
• オプティマイザー: betas=(0.9,0.999) および epsilon=1e-08 の OptimizerNames.ADAMW_TORCH_FUSED を使用。追加のオプティマイザー引数はありません。
• 学習率スケジューラーの種類: 線形
• トレーニングステップ: 10000

トレーニング結果

フレームワークバージョン

• Transformers 4.48.0
• Pytorch 2.4.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

🔧 技術詳細

モデル情報

モデル指標

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。