Deberta V3 Small Finetuned Cola

🚀 DeBERTa-v3-small在CoLA上微調模型

該模型是microsoft/deberta-v3-small在GLUE COLA數據集上的微調版本，在評估集上取得了優異的效果，為自然語言理解任務提供了有力支持。

🚀 快速開始

此模型是 microsoft/deberta-v3-small 在GLUE COLA數據集上的微調版本。它在評估集上取得了以下結果：

• 損失率（Loss）：0.4051
• 馬修斯相關係數（Matthews Correlation）：0.6333

📚 詳細文檔

模型描述

DeBERTa 通過解耦注意力和增強掩碼解碼器改進了BERT和RoBERTa模型。憑藉這兩項改進，DeBERTa在使用80GB訓練數據的大多數自然語言理解（NLU）任務中優於RoBERTa。

更多詳細信息和更新請查看 官方倉庫。

在 DeBERTa V3 中，我們在預訓練階段用ELECTRA提出的RTD（替換標記檢測）目標取代了MLM目標，並在即將發表的論文中引入了一些創新。與DeBERTa-V2相比，我們的V3版本顯著提高了模型在下游任務中的性能。你可以從我們原始 論文 的附錄A11中找到關於該模型的簡單介紹，我們將在單獨的文章中提供更多細節。

DeBERTa V3小型模型有6層，隱藏層大小為768。由於我們使用了包含128K標記的詞彙表，在嵌入層引入了9800萬個參數，因此該模型的總參數數量為1.43億。此模型與DeBERTa V2一樣，使用160GB數據進行訓練。

預期用途與侷限性

更多信息待補充。

訓練和評估數據

語言可接受性語料庫（CoLA）完整版包含來自23篇語言學出版物的10657個句子，由原作者精心標註了可接受性（語法性）。此處提供的公開版本包含9594個屬於訓練集和開發集的句子，不包含1063個屬於保留測試集的句子。

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率（learning_rate）：3e - 05
• 訓練批次大小（train_batch_size）：16
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，β值為(0.9, 0.999)，ε值為1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：5.0

訓練結果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0 + cu111
• Datasets 1.16.1
• Tokenizers 0.10.3

📄 許可證

本項目採用MIT許可證。