Paraphraser Bart Large

🚀 自動言い換えモデル

この自動言い換えモデルは、論文 "AutoQA: From Databases to QA Semantic Parsers with Only Synthetic Training Data" (EMNLP 2020) で説明され、使用されています。

🚀 クイックスタート

この自動言い換えモデルは、特定の論文で使用されたもので、以下にその詳細を説明します。

✨ 主な機能

• 論文で使用された自動言い換えモデルを提供します。
• 特定のデータセットで学習され、高品質な言い換えを生成します。

📦 インストール

ドキュメントにインストール手順は記載されていません。

📚 ドキュメント

学習データ

論文 "Large-Scale, Diverse, Paraphrastic Bitexts via Sampling and Clustering" で紹介されたParaBank 2データセットのクリーン版を使用しています。ParaBank 2は、英語 - チェコ語の並列コーパスのチェコ語部分を逆翻訳することで構築された言い換えデータセットです。 我々は、双方向条件付き交差エントロピースコアが最も高い（言い換え品質が最も高いことに対応する）500万の文ペアのサブセットを使用し、各文に対して提供される5つの言い換えのうち1つのみを使用します。 クリーニングプロセスでは、通常の英語の文に見えない文（例えば、URLを含む、特殊文字が多すぎるなど）を削除しました。

学習手順

モデルは、facebook/bart-large チェックポイントから始めて、上述のデータセットで4エポックの微調整を行います。 我々は、正解の言い換え文を使用して計算されるトークンレベルの交差エントロピー損失を使用します。モデルの出力が文法的に正しいことを確保するために、学習中は、逆翻訳されたチェコ語の文を入力とし、人が書いた英語の文を出力として使用します。学習は、1280の例のミニバッチで行われます。学習効率を高めるために、各ミニバッチは、長さが似た文をグループ化して構築されます。

使用方法

top_p=0.9 と temperature を 0 から 1 の間に設定すると、通常、良い言い換えが生成されます。temperature を高くすると、言い換えがより多様化し、入力との差が大きくなりますが、元の文の意味がわずかに変化する可能性があります。 これは文レベルの言い換えツールです。このモデルでより長い入力（段落など）を言い換える場合は、まず入力を個々の文に分割する必要があります。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。

🔗 引用

もしあなたの研究でこのモデルを使用している場合は、以下の引用を使用してください。

@inproceedings{xu-etal-2020-autoqa,
    title = "{A}uto{QA}: From Databases to {QA} Semantic Parsers with Only Synthetic Training Data",
    author = "Xu, Silei  and Semnani, Sina  and Campagna, Giovanni  and Lam, Monica",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-main.31",
    pages = "422--434",
}