Xlm Roberta Large Qe V1

🚀 機械翻訳の品質推定

このモデルは、ymoslem/wmt-da-human-evaluation データセットで FacebookAI/xlm-roberta-large をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 0.0752

✨ 主な機能

このモデルは、機械翻訳（MT）システムの参照不要品質推定（QE）に使用されます。

📦 インストール

必要なライブラリをインストールします。

pip3 install --upgrade datasets accelerate transformers
pip3 install --upgrade flash_attn triton

💻 使用例

基本的な使用法

# テストデータセットをロードする
from datasets import load_dataset

test_dataset = load_dataset("ymoslem/wmt-da-human-evaluation",
                             split="test",
                             trust_remote_code=True
                            )
print(test_dataset)

# モデルとトークナイザーをロードする
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

# ファインチューニングされたモデルとトークナイザーをロードする
model_name = "ymoslem/ModernBERT-large-qe-v1"
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# モデルをGPUに移動する（利用可能な場合）
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
model.eval()

# データセットを準備する
sep_token = tokenizer.sep_token
input_test_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(test_dataset["src"], test_dataset["mt"])]

# 予測を生成する
from transformers import pipeline

classifier = pipeline("text-classification",
                      model=model_name,
                      tokenizer=tokenizer,
                      device=0,
                     )

predictions = classifier(input_test_texts,
                         batch_size=128,
                         truncation=True,
                         padding="max_length",
                         max_length=tokenizer.model_max_length,
                       )
predictions = [prediction["score"] for prediction in predictions]

高度な使用法

# 高度な予測生成方法
from torch.utils.data import DataLoader
import torch
from tqdm.auto import tqdm

# トークン化関数
def process_batch(batch, tokenizer, device):
    sep_token = tokenizer.sep_token
    input_texts = [f"{src} {sep_token} {tgt}" for src, tgt in zip(batch["src"], batch["mt"])]
    tokens = tokenizer(input_texts,
                       truncation=True,
                       padding="max_length",
                       max_length=tokenizer.model_max_length,
                       return_tensors="pt",
                      ).to(device)
    return tokens

# バッチ処理用のDataLoaderを作成する
test_dataloader = DataLoader(test_dataset, 
                             batch_size=128,   # 必要に応じてバッチサイズを調整する
                             shuffle=False)

# すべての予測を格納するリスト
predictions = []

with torch.no_grad():
    for batch in tqdm(test_dataloader, desc="Inference Progress", unit="batch"):

        tokens = process_batch(batch, tokenizer, device)
        
        # 順伝播: モデルのロジットを生成する
        outputs = model(**tokens)

        # ロジット（予測値）を取得する
        logits = outputs.logits

        # 回帰予測値を抽出する
        batch_predictions = logits.squeeze()

        # 予測値をリストに追加する
        predictions.extend(batch_predictions.tolist())

📚 ドキュメント

モデルの説明

このモデルは、機械翻訳（MT）システムの参照不要品質推定（QE）に使用されます。

学習手順

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率: 8e-05
• 学習バッチサイズ: 64
• 評価バッチサイズ: 64
• シード: 42
• オプティマイザー: OptimizerNames.ADAMW_TORCH_FUSEDを使用し、ベータ=(0.9,0.999)、イプシロン=1e-08、追加のオプティマイザー引数はありません
• 学習率スケジューラーの種類: 線形
• 学習ステップ数: 20000

学習結果

フレームワークのバージョン

• Transformers 4.48.0
• Pytorch 2.4.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0

🔧 技術詳細

このモデルは、FacebookAI/xlm-roberta-large を ymoslem/wmt-da-human-evaluation データセットでファインチューニングしたものです。評価セットでは以下のメトリクスが得られています。

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

📊 モデル情報