Deberta V3 Small Finetuned Mnli

🚀 DeBERTa v3（小型）在MNLI上微調

本模型是 microsoft/deberta-v3-small 在GLUE MNLI數據集上的微調版本。它在評估集上取得了以下結果：

• 損失：0.4985
• 準確率：0.8746

🚀 快速開始

此模型是基於 microsoft/deberta-v3-small 在GLUE MNLI數據集上進行微調得到的。你可以直接使用該模型進行文本分類任務。

✨ 主要特性

• 性能提升：在GLUE MNLI數據集上取得了較高的準確率。
• 模型改進：基於DeBERTa v3架構，採用了RTD（Replaced Token Detection）目標進行預訓練。

📚 詳細文檔

模型描述

DeBERTa 通過解耦注意力和增強掩碼解碼器改進了BERT和RoBERTa模型。通過這兩項改進，DeBERTa在80GB訓練數據的大多數自然語言理解（NLU）任務上優於RoBERTa。有關更多詳細信息和更新，請查看 官方倉庫。

在 DeBERTa V3 中，我們在預訓練時用ELECTRA引入的RTD（Replaced Token Detection）目標取代了MLM目標，並在即將發表的論文中介紹了一些創新。與DeBERTa-V2相比，我們的V3版本顯著提高了模型在下游任務中的性能。你可以在我們原始 論文 的附錄A11中找到關於該模型的簡單介紹，我們將在單獨的文章中提供更多細節。

DeBERTa V3小型模型有6層，隱藏層大小為768。由於我們使用了包含128K個詞元的詞彙表，在嵌入層引入了98M個參數，因此其總參數數量為1.43億。該模型使用了與DeBERTa V2相同的160GB數據進行訓練。

預期用途與限制

更多信息待補充。

訓練和評估數據

多類型自然語言推理語料庫（Multi-Genre Natural Language Inference Corpus）是一個眾包的句子對集合，帶有文本蘊含註釋。給定一個前提句子和一個假設句子，任務是預測前提是否蘊含假設（蘊含）、與假設矛盾（矛盾）或兩者都不是（中立）。前提句子來自十個不同的來源，包括轉錄語音、小說和政府報告。該基準的作者使用標準測試集（他們從RTE作者那裡獲得了私有標籤），並在匹配（領域內）和不匹配（跨領域）部分進行評估。他們還使用並推薦SNLI語料庫作為55萬個輔助訓練數據示例。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：3e-05
• 訓練批次大小：16
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam，β值為(0.9, 0.999)，ε值為1e-08
• 學習率調度器類型：線性
• 學習率調度器熱身步數：1000
• 訓練輪數：3.0

訓練結果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 許可證

本模型採用MIT許可證。