Mstsb Paraphrase Multilingual Mpnet Base V2

🚀 mstsb-paraphrase-multilingual-mpnet-base-v2

このモデルは、sentence-transformers の paraphrase-multilingual-mpnet-base-v2 を Semantic Textual Similarity Benchmark を用いて15言語に拡張して微調整したものです。文章や段落を768次元の密ベクトル空間にマッピングし、クラスタリング、意味検索、2つの文章間の類似度測定などのタスクに使用できます。

🚀 クイックスタート

このモデルは、多言語データを用いて意味的な文章の類似度に対して paraphrase-multilingual-mpnet-base-v2 を微調整したものです。微調整に使用されたデータセットは、Google Translatorを用いて15言語に拡張されたSTSbです。データ品質を維持するため、信頼度が0.7未満の文章ペアは除外されました。拡張されたデータセットは GitHub で入手できます。拡張版に含まれる言語は、ar、cs、de、en、es、fr、hi、it、ja、nl、pl、pt、ru、tr、zh-CN、zh-TW です。単語埋め込みを文章埋め込みに凝縮するために使用されるプーリング操作は、平均プーリングです（詳細は以下）。

✨ 主な機能

• 多言語に対応した文章の意味的な類似度測定が可能です。
• クラスタリングや意味検索などのタスクに利用できます。

📦 インストール

sentence-transformers をインストールすることで、このモデルを簡単に使用できます。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
# 複数の言語をサポートします
sentences = ["This is an example sentence", "Esta es otra frase de ejemplo", "最後の例文"]

# プーリング手法は自動的に検出されます（平均プーリング）
model = SentenceTransformer('mstsb-paraphrase-multilingual-mpnet-base-v2')
embeddings = model.encode(sentences)
print(embeddings)

高度な使用法

sentence-transformers を使用せずに、このモデルを使用することもできます。まず、入力をトランスフォーマーモデルに通し、次に適切なプーリング操作を文脈化された単語埋め込みに適用する必要があります。

from transformers import AutoTokenizer, AutoModel
import torch

# 適切なプーリング関数を定義する必要があります：平均プーリング
# 平均プーリング - 正しい平均化のためにアテンションマスクを考慮する
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # モデル出力の最初の要素にはすべてのトークン埋め込みが含まれています
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)


# 文章埋め込みを取得したい文章
sentences = ["This is an example sentence", "Esta es otra frase de ejemplo", "最後の例文"]

# HuggingFace Hubからモデルをロード
tokenizer = AutoTokenizer.from_pretrained('AIDA-UPM/mstsb-paraphrase-multilingual-mpnet-base-v2')
model = AutoModel.from_pretrained('AIDA-UPM/mstsb-paraphrase-multilingual-mpnet-base-v2')

# 文章をトークナイズ
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# トークン埋め込みを計算
with torch.no_grad():
    model_output = model(**encoded_input)

# プーリングを実行。この場合は、最大プーリング
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("Sentence embeddings:")
print(sentence_embeddings)

📚 ドキュメント

評価結果

Semantic Textual Similarity Tasksにおけるテスト結果を確認できます。Multilingual STSB で利用可能な15言語は、単言語タスクと多言語タスクに分けられ、合計31のタスクがあります。単言語タスクでは、両方の文章が同じ言語のソースから来ており（例：Ar-Ar、Es-Es）、多言語タスクでは、2つの文章がそれぞれ異なる言語で、そのうちの1つが英語です（例：en-ar、en-es）。

以下は、paraphrase-multilingual-mpnet-base-v2 ベースのモデルと mstsb-paraphrase-multilingual-mpnet-base-v2 微調整モデルの31のタスクにおける平均的な多言語意味的文章類似度能力を比較したものです。両方のモデルが多言語に対応していますが、2番目のモデルは意味的な類似度に対して多言語データで調整されています。相関係数の平均は、各相関係数をフィッシャーのz値に変換し、それらを平均化し、その後相関係数に戻すことで計算されます。

以下の表は、mstsb-paraphrase-multilingual-mpnet-base-v2 の異なるタスクに応じたパフォーマンスを示しています。読みやすさのために、タスクは単言語タスクと多言語タスクに分割されています。

トレーニング

このモデルは以下のパラメータでトレーニングされました。

DataLoader:

{'batch_size': 132, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}

Loss: sentence_transformers.losses.CosineSimilarityLoss.CosineSimilarityLoss

fit() メソッドのパラメータ:

{
    "callback": null,
    "epochs": 2,
    "evaluation_steps": 1000,
    "evaluator": "sentence_transformers.evaluation.EmbeddingSimilarityEvaluator.EmbeddingSimilarityEvaluator",
    "max_grad_norm": 1,
    "optimizer_class": "<class 'transformers.optimization.AdamW'>",
    "optimizer_params": {
        "lr": 2e-05
    },
    "scheduler": "WarmupLinear",
    "steps_per_epoch": null,
    "warmup_steps": 140,
    "weight_decay": 0.01
}

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
)