Deberta V3 Xsmall Squad2

🚀 DeBERTa v3 xsmall SQuAD 2.0

DeBERTa v3 xsmall SQuAD 2.0 是一個用於問答任務的模型。它在 DeBERTa 的基礎上進行了改進，通過解耦注意力和增強掩碼解碼器提升了性能，在多數自然語言理解任務中表現出色。在 DeBERTa V3 中，進一步使用 ELECTRA 風格的預訓練和梯度解耦嵌入共享提高了效率，顯著提升了下游任務的模型性能。

🚀 快速開始

Microsoft 報告稱，該模型在開發集上的 F1/EM 得分可達 84.8/82.0。

我得到的分數是 81.5/78.3，但我只進行了一次運行，並且沒有使用官方的 SQuAD2 評估腳本。我將進行更多的運行，並儘快展示使用官方腳本的結果。

📄 許可證

本項目採用 CC BY 4.0 許可證。

📊 模型信息

🧪 模型示例

DeBERTa v3 Q1

• 上下文：DeBERTa 通過解耦注意力和增強掩碼解碼器改進了 BERT 和 RoBERTa 模型。通過這兩項改進，DeBERTa 在 80GB 訓練數據的情況下，在大多數自然語言理解任務上優於 RoBERTa。在 DeBERTa V3 中，我們進一步使用 ELECTRA 風格的預訓練和梯度解耦嵌入共享提高了 DeBERTa 的效率。與 DeBERTa 相比，我們的 V3 版本顯著提升了下游任務的模型性能。你可以從我們的論文中找到關於新模型的更多技術細節。請查看官方倉庫以獲取更多實現細節和更新。
• 問題：DeBERTa 版本 3 與之前的版本有何不同？

DeBERTa v3 Q2

• 上下文：DeBERTa 通過解耦注意力和增強掩碼解碼器改進了 BERT 和 RoBERTa 模型。通過這兩項改進，DeBERTa 在 80GB 訓練數據的情況下，在大多數自然語言理解任務上優於 RoBERTa。在 DeBERTa V3 中，我們進一步使用 ELECTRA 風格的預訓練和梯度解耦嵌入共享提高了 DeBERTa 的效率。與 DeBERTa 相比，我們的 V3 版本顯著提升了下游任務的模型性能。你可以從我們的論文中找到關於新模型的更多技術細節。請查看官方倉庫以獲取更多實現細節和更新。
• 問題：我在哪裡可以看到關於 DeBERTa 的新信息？

📈 模型結果