Comve Gpt2

🚀 ComVE-gpt2

コモンセンス検証と説明（ComVE）データセットを使用して微調整されたモデルで、与えられた自然言語文がコモンセンスに反する理由を生成できます。

🚀 クイックスタート

ComVE-gpt2は、コモンセンス検証と説明（ComVE）データセットを使用して微調整されたモデルです。このモデルは、与えられた自然言語文がコモンセンスに反する理由を生成することができます。

✨ 主な機能

• 自然言語文がコモンセンスに反する理由を生成することができます。
• 因果言語モデリング（CLM）の目的で微調整されています。

📦 インストール

このモデルを使用するには、transformersパッケージのバージョン2.4.1を使用する必要があります。新しいバージョンでは、テキスト生成に問題があり、モデルが最後に生成されたトークンを繰り返し生成することがあります。

💻 使用例

基本的な使用法

# このモデルを直接使用して、与えられた文がコモンセンスに反する理由を生成するには、以下のスクリプトを使用します。
# スクリプトのリンク: https://github.com/AliOsm/SemEval2020-Task4-ComVE/tree/master/TaskC-Generation

高度な使用法

# 高度な使用法については、公式ドキュメントを参照してください。

📚 ドキュメント

モデルの説明

このモデルは、SemEval2020 Task4で紹介されたコモンセンス検証と説明（ComVE）データセットを使用して、因果言語モデリング（CLM）の目的で微調整されています。モデルは、与えられた自然言語文がコモンセンスに反する理由を生成することができます。

想定される用途と制限

このモデルは、自然言語文がコモンセンスに反する理由を生成するためのテキスト生成に使用できます。ただし、モデルは通常、入力された文を否定する傾向があり、事実に基づいた理由を生成することができない場合があります。

トレーニングデータ

このモデルは、gpt2モデルから初期化され、ComVEデータセットを使用して微調整されています。このデータセットには、10Kのコモンセンスに反する文が含まれており、それぞれの文には3つの参照理由がペアになっています。

トレーニング手順

コモンセンスに反する各自然言語文は、<|continue|>を区切り文字として参照理由と連結され、その後、CLMの目的でモデルが微調整されます。モデルは、Google ColabプラットフォームのNvidia Tesla P100 GPUで、学習率5e-5、5エポック、最大シーケンス長128、バッチサイズ64でトレーニングされました。

評価結果

このモデルは、SemEval2020 Task4: Commonsense Validation and Explanationの開発データセットとテストデータセットで、それぞれ14.0547/13.6534のBLEUスコアを達成しました。

BibTeXエントリと引用情報

@article{fadel2020justers,
  title={JUSTers at SemEval-2020 Task 4: Evaluating Transformer Models Against Commonsense Validation and Explanation},
  author={Fadel, Ali and Al-Ayyoub, Mahmoud and Cambria, Erik},
  year={2020}
}

情報テーブル

重要提示

⚠️ 重要提示

transformersパッケージのバージョン2.4.1を使用することを確認してください。新しいバージョンでは、テキスト生成に問題があり、モデルが最後に生成されたトークンを繰り返し生成することがあります。

使用建议

💡 使用建议

モデルは通常、入力された文を否定する傾向があり、事実に基づいた理由を生成することができない場合があります。使用する際には、この点に注意してください。