Deberta V3 Small Finetuned Cola

🚀 DeBERTa-v3-smallをCoLAでファインチューニング

このモデルは、GLUE COLAデータセットでmicrosoft/deberta-v3-smallをファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています。

• 損失: 0.4051
• マシューズ相関係数: 0.6333

🚀 クイックスタート

このモデルは、GLUE COLAデータセットでファインチューニングされたDeBERTa-v3-smallモデルです。評価セットでは、損失が0.4051、マシューズ相関係数が0.6333という結果を得ています。

✨ 主な機能

• このモデルは、GLUE COLAデータセットでファインチューニングされており、文の受容性（文法性）を判断するタスクに適しています。
• DeBERTaは、分離型アテンションと強化マスクデコーダを用いてBERTやRoBERTaモデルを改善しています。
• DeBERTa V3では、事前学習にELECTRAによって導入されたRTD（置換トークン検出）目的関数を用いており、下流タスクのモデル性能が大幅に向上しています。

📚 ドキュメント

モデルの説明

DeBERTaは、分離型アテンションと強化マスクデコーダを用いてBERTやRoBERTaモデルを改善しています。これら2つの改善により、DeBERTaは80GBの学習データで大多数のNLUタスクでRoBERTaを上回っています。

詳細と更新情報については、公式リポジトリを確認してください。

DeBERTa V3では、事前学習にELECTRAによって導入されたRTD（置換トークン検出）目的関数をMLM目的関数の代わりに用いており、また、今後の論文で紹介するいくつかの革新的な手法も用いています。DeBERTa-V2と比較すると、V3バージョンは下流タスクのモデル性能を大幅に向上させています。モデルに関する簡単な説明は、元の論文の付録A11から見ることができますが、詳細については別の記事で提供する予定です。

DeBERTa V3 smallモデルは6層で、隠れ層のサイズは768です。語彙数が128Kのトークンを含む語彙を使用しているため、埋め込み層に98Mのパラメータが導入され、総パラメータ数は143Mになります。このモデルは、DeBERTa V2と同じく160GBのデータを使用して学習されています。

想定される用途と制限

詳細情報が必要です。

学習と評価データ

言語受容性コーパス（CoLA）は、23の言語学出版物からの10657文で構成されており、元の著者によって受容性（文法性）について専門的にアノテーションされています。ここで提供される公開バージョンには、学習セットと開発セットに属する9594文が含まれており、ホールドアウトテストセットに属する1063文は除外されています。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 3e-05
• 学習バッチサイズ: 16
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類: 線形
• エポック数: 5.0

学習結果

フレームワークのバージョン

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.16.1
• Tokenizers 0.10.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。