Comve Gpt2

🚀 ComVE-gpt2

ComVE-gpt2是一個在常識驗證與解釋（ComVE）數據集上微調的模型，可用於生成自然語言陳述違背常識的原因，在相關任務中表現良好。

🚀 快速開始

你可以使用原始模型進行文本生成，以生成自然語言陳述違背常識的原因。你可以直接使用generate.sh腳本，來生成給定陳述違背常識的原因。

⚠️ 重要提示

請確保你使用的是 transformers 包的 2.4.1 版本。較新的版本在文本生成方面存在一些問題，模型會反覆生成最後一個生成的標記。

✨ 主要特性

• 該模型基於因果語言建模（CLM）目標，在常識驗證與解釋（ComVE）數據集上進行微調。
• 能夠生成自然語言陳述違背常識的原因。

📚 詳細文檔

預期用途和限制

如何使用

你可以直接使用generate.sh腳本來生成給定陳述違背常識的原因。

限制和偏差

該模型通常傾向於否定輸入的句子，而不是給出事實性的原因。

訓練數據

該模型從 gpt2 模型初始化，並使用 ComVE 數據集進行微調。該數據集包含10K條違背常識的句子，每個句子都配有三個參考原因。

訓練過程

每個違背常識的自然語言陳述與其參考原因以 <|continue|> 作為分隔符進行拼接，然後使用CLM目標對模型進行微調。該模型在Google Colab平臺的Nvidia Tesla P100 GPU上進行訓練，學習率為5e - 5，訓練5個週期，最大序列長度為128，批量大小為64。

評估結果

該模型在SemEval2020任務4：常識驗證與解釋的開發集和測試集上分別取得了14.0547/13.6534的BLEU分數。

BibTeX引用和引用信息

@article{fadel2020justers,
  title={JUSTers at SemEval-2020 Task 4: Evaluating Transformer Models Against Commonsense Validation and Explanation},
  author={Fadel, Ali and Al-Ayyoub, Mahmoud and Cambria, Erik},
  year={2020}
}

📄 許可證

本項目採用MIT許可證。