M ST5

🚀 peft

このライブラリは、mT5エンコーダー用のLoRA適応重みを提供します。Sentence T5の多言語拡張モデルであるm-ST5は、文章埋め込み用のエンコーダーで、クロスリンガルな意味的テキスト類似性（STS）や文章検索タスクでその性能が検証されています。

🚀 クイックスタート

このセクションでは、m-ST5モデルを使用するための基本的な手順を説明します。

✨ 主な機能

• 多言語対応の文章埋め込みエンコーダーです。
• クロスリンガルな意味的テキスト類似性（STS）や文章検索タスクで高い性能を発揮します。

📦 インストール

まだpeftをインストールしていない場合は、以下のコマンドを実行してください。

pip install -q git+https://github.com/huggingface/transformers.git@main git+https://github.com/huggingface/peft.git

💻 使用例

基本的な使用法

# モデルのロード
from transformers import MT5EncoderModel
from peft import PeftModel

model =  MT5EncoderModel.from_pretrained("google/mt5-xxl")
model.enable_input_require_grads()
model.gradient_checkpointing_enable()
model: PeftModel = PeftModel.from_pretrained(model, "pkshatech/m-ST5")

# 文章埋め込みの取得
from transformers import AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("google/mt5-xxl", use_fast=False)
model.eval()

texts = ["I am a dog.","You are a cat."]
inputs = tokenizer(
    texts,
    padding=True,
    truncation=True,
    return_tensors="pt",
)
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
last_hidden_state[inputs.attention_mask == 0, :] = 0
sent_len = inputs.attention_mask.sum(dim=1, keepdim=True)
sent_emb = last_hidden_state.sum(dim=1) / sent_len

📚 ドキュメント

モデルの詳細

このモデルは、Sentence T5の多言語拡張であり、mT5エンコーダーを使用して作成されました。このモデルは、この論文で提案されています。

学習データ

このモデルは、XNLIデータセットで学習されました。

フレームワークのバージョン

• PEFT 0.4.0.dev0

ベンチマーク

• Tatoeba: 英語の文章と他の言語の文章のペアを用いた文章検索タスク。
• BUCC: バイテキストマイニングタスク。英語と4つの言語（ドイツ語、フランス語、ロシア語、中国語）のいずれかで構成されています。
• XSTS: クロスリンガルな意味的テキスト類似性タスク。

詳細については、論文を参照してください。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。