Deberta V3 Large Finetuned Mnli

🚀 DeBERTa-v3-large在MNLI上微調模型

本模型是 microsoft/deberta-v3-large 在GLUE MNLI數據集上的微調版本。它在評估集上取得了以下成果：

• 損失率：0.6763
• 準確率：0.8949

📚 詳細文檔

模型描述

DeBERTa 通過解耦注意力和增強掩碼解碼器改進了BERT和RoBERTa模型。藉助這兩項改進，DeBERTa在使用80GB訓練數據的大多數自然語言理解（NLU）任務中優於RoBERTa。

在 DeBERTa V3 中，我們使用帶有梯度解耦嵌入共享的ELECTRA風格預訓練進一步提高了DeBERTa的效率。與DeBERTa相比，我們的V3版本顯著提升了模型在下游任務中的性能。你可以從我們的 論文 中找到關於新模型的更多技術細節。

有關更多實現細節和更新，請查看 官方倉庫。

DeBERTa V3 large模型有24層，隱藏層大小為1024。它有3.04億個骨幹參數，詞彙表包含12.8萬個標記，這在嵌入層引入了1.31億個參數。該模型與DeBERTa V2一樣使用160GB數據進行訓練。

預期用途與限制

暫無相關詳細信息。

訓練和評估數據

暫無相關詳細信息。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：3e - 05
• 訓練批次大小：16
• 評估批次大小：8
• 隨機種子：42
• 優化器：Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型：線性
• 訓練輪數：5.0
• 混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0 + cu111
• Datasets 1.16.1
• Tokenizers 0.10.3

📄 許可證

本模型採用MIT許可證。

📋 模型信息表格