Paraphrase Roberta Es

🚀 Prompsit/paraphrase-roberta-es

このモデルは、与えられたフレーズに対する言い換えを評価することができます。
このモデルは、事前学習された「PlanTL - GOB - ES/roberta - base - bne」からファインチューニングされています。
このモデルは、スペイン政府の経済産業省とデジタル変革省によって共同出資されたTSI - 100905 - 2019 - 4プロジェクトの下で構築されました。

🚀 クイックスタート

このモデルは、「フレーズB」が「フレーズA」の言い換えであるかという質問に答えます。

なお、ここでは文ではなくフレーズを対象としています。したがって、モデルは句読点や長い文章を想定していないことに注意する必要があります。

得られる確率は以下のクラスに対応します。

• 0: 言い換えではない
• 1: 言い換えである

ですから、「se buscarán acuerdos」というフレーズと「se deberá obtener el acuerdo」という候補の言い換えを考えると、次のようにモデルを使用できます。

基本的な使用法

import torch

from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("Prompsit/paraphrase-roberta-es")
model = AutoModelForSequenceClassification.from_pretrained("Prompsit/paraphrase-roberta-es")

input = tokenizer('se buscarán acuerdos','se deberá obtener el acuerdo',return_tensors='pt')
logits = model(**input).logits
soft = torch.nn.Softmax(dim=1)
print(soft(logits))

コードの出力は次の通りです。

tensor([[0.2266, 0.7734]], grad_fn=<SoftmaxBackward>)

1（=言い換えである）の確率が0.77で、0（=言い換えではない）の確率が0.22であるため、前の例では「se deberá obtener el acuerdo」は「se buscarán acuerdos」の言い換えであると結論付けることができます。

📚 ドキュメント

評価結果

テストデータセットとして、人間によってタグ付けされた16500組のフレーズを使用しました。得られたメトリクスは次の通りです。

metrics={
 'test_loss': 0.4869941473007202, 
 'test_accuracy': 0.8003636363636364, 
 'test_precision': 0.6692456479690522, 
 'test_recall': 0.5896889646357052, 
 'test_f1': 0.6269535673839184, 
 'test_matthews_correlation': 0.49324489316659575, 
 'test_runtime': 27.1537, 
 'test_samples_per_second': 607.652, 
 'test_steps_per_second': 19.003
 }