Bart Paraphrase

🚀 BART パラフレーズモデル（大規模モデル）

これはBARTに基づく大規模なシーケンスツーシーケンス（テキスト生成）モデルで、3つのパラフレーズデータセットで微調整されています。このモデルは、テキストのパラフレーズ生成に有効に使用できます。

🚀 クイックスタート

事前学習済みモデルを使用して、入力文のパラフレーズを生成することができます。以下は使用例です。

import torch
from transformers import BartForConditionalGeneration, BartTokenizer

input_sentence = "They were there to enjoy us and they were there to pray for us."

model = BartForConditionalGeneration.from_pretrained('eugenesiow/bart-paraphrase')
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
tokenizer = BartTokenizer.from_pretrained('eugenesiow/bart-paraphrase')
batch = tokenizer(input_sentence, return_tensors='pt')
generated_ids = model.generate(batch['input_ids'])
generated_sentence = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

print(generated_sentence)

出力

['They were there to enjoy us and to pray for us.']

✨ 主な機能

• モデルアーキテクチャ：Bartは、標準的なシーケンスツーシーケンス/機械翻訳アーキテクチャを採用しており、双方向エンコーダ（BERTのような）と左から右へのデコーダ（GPTのような）を含んでいます。
• 事前学習タスク：事前学習タスクには、元の文の順序をランダムに並べ替えることと、テキストの断片を単一のマスクトークンで置き換える新しいパディング方式が含まれます。
• 微調整の効果：BARTは、テキスト生成に対して微調整する際に特に有効です。このモデルは、3つのパラフレーズデータセット（Quora、PAWS、およびMSRパラフレーズコーパス）で微調整されています。

📚 ドキュメント

モデルの説明

BARTモデルは、Lewisら（2019年）によって論文BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehensionで提案されました。

元のBARTコードは、このリポジトリから入手できます。

想定される用途と制限

このモデルは、入力文のパラフレーズ生成に使用できます。

学習データ

このモデルは、事前学習済みのfacebook/bart-largeをベースに、Quora、PAWS、およびMSRパラフレーズコーパスを使用して微調整されています。

学習過程

私たちは、simpletransformersのシーケンスツーシーケンスのサンプルで提供されている学習過程に従っています。

引用情報

@misc{lewis2019bart,
      title={BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension}, 
      author={Mike Lewis and Yinhan Liu and Naman Goyal and Marjan Ghazvininejad and Abdelrahman Mohamed and Omer Levy and Ves Stoyanov and Luke Zettlemoyer},
      year={2019},
      eprint={1910.13461},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で提供されています。

📦 情報テーブル