Deberta V3 Xsmall Squad2

🚀 DeBERTa v3 xsmall SQuAD 2.0

DeBERTa v3 xsmall SQuAD 2.0は、質問応答タスクに使用されるモデルです。DeBERTaをベースに改良され、注意力の解耦とマスクデコーダーの強化により性能が向上し、多くの自然言語理解タスクで優れた結果を示します。DeBERTa V3では、さらにELECTRAスタイルの事前学習と勾配解耦埋め込み共有を使用して効率を向上させ、下流タスクのモデル性能を大幅に向上させています。

🚀 クイックスタート

Microsoftによる報告では、このモデルは開発セットでのF1/EMスコアが84.8/82.0に達することができます。

私が得たスコアは81.5/78.3ですが、私は1回の実行しか行っておらず、公式のSQuAD2評価スクリプトを使用していません。もっと多くの実行を行い、公式スクリプトを使用した結果をできるだけ早く公開します。

📄 ライセンス

このプロジェクトはCC BY 4.0ライセンスの下で提供されています。

📊 モデル情報

💻 使用例

基本的な使用法

DeBERTa v3 Q1

• コンテキスト：DeBERTaは、注意力の解耦とマスクデコーダーの強化により、BERTとRoBERTaモデルを改良しています。これら2つの改良により、DeBERTaは80GBの訓練データで、ほとんどの自然言語理解タスクでRoBERTaを上回っています。DeBERTa V3では、さらにELECTRAスタイルの事前学習と勾配解耦埋め込み共有を使用してDeBERTaの効率を向上させています。DeBERTaと比較して、私たちのV3バージョンは下流タスクのモデル性能を大幅に向上させています。新しいモデルに関する詳細な技術情報は、私たちの論文から見つけることができます。詳細な実装と更新情報については、公式リポジトリを参照してください。
• 質問：DeBERTaバージョン3は以前のバージョンとどのように異なっていますか？

DeBERTa v3 Q2

• コンテキスト：DeBERTaは、注意力の解耦とマスクデコーダーの強化により、BERTとRoBERTaモデルを改良しています。これら2つの改良により、DeBERTaは80GBの訓練データで、ほとんどの自然言語理解タスクでRoBERTaを上回っています。DeBERTa V3では、さらにELECTRAスタイルの事前学習と勾配解耦埋め込み共有を使用してDeBERTaの効率を向上させています。DeBERTaと比較して、私たちのV3バージョンは下流タスクのモデル性能を大幅に向上させています。新しいモデルに関する詳細な技術情報は、私たちの論文から見つけることができます。詳細な実装と更新情報については、公式リポジトリを参照してください。
• 質問：DeBERTaに関する新しい情報はどこで見ることができますか？

📈 モデル結果