Mdeberta V3 Base Squad2

🚀 mdeberta-v3-base-squad2 モデル

このモデルは、抽出型の質問応答（Extractive QA）に使用できます。多言語対応で、SQuAD2.0 データセットで微調整されています。

🚀 クイックスタート

このモデルは抽出型の質問応答（Extractive QA）に使用できます。SQuAD2.0 で3エポックの微調整が行われています。

✨ 主な機能

• 多言語対応の質問応答モデルです。
• SQuAD2.0 データセットで微調整され、高い性能を発揮します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

qa_model = pipeline("question-answering", "timpal0l/mdeberta-v3-base-squad2")
question = "Where do I live?"
context = "My name is Tim and I live in Sweden."
qa_model(question = question, context = context)
# {'score': 0.975547730922699, 'start': 28, 'end': 36, 'answer': ' Sweden.'}

📚 ドキュメント

SQuAD2.0開発セットでの評価

{
    "epoch": 3.0,
    "eval_HasAns_exact": 79.65587044534414,
    "eval_HasAns_f1": 85.91387795001529,
    "eval_HasAns_total": 5928,
    "eval_NoAns_exact": 82.10260723296888,
    "eval_NoAns_f1": 82.10260723296888,
    "eval_NoAns_total": 5945,
    "eval_best_exact": 80.8809904826076,
    "eval_best_exact_thresh": 0.0,
    "eval_best_f1": 84.00551406448994,
    "eval_best_f1_thresh": 0.0,
    "eval_exact": 80.8809904826076,
    "eval_f1": 84.00551406449004,
    "eval_samples": 12508,
    "eval_total": 11873,
    "train_loss": 0.7729689576483615,
    "train_runtime": 9118.953,
    "train_samples": 134891,
    "train_samples_per_second": 44.377,
    "train_steps_per_second": 0.925
}

DeBERTaV3について

DeBERTa は、分離型のアテンションと強化されたマスクデコーダを使用して、BERT と RoBERTa モデルを改善しました。これら2つの改善により、DeBERTa は80GBのトレーニングデータで、大多数の自然言語理解（NLU）タスクで RoBERTa を上回ります。

DeBERTa V3 では、勾配分離埋め込み共有を用いた ELECTRA スタイルの事前学習により、DeBERTa の効率をさらに向上させました。DeBERTa と比較して、V3 バージョンは下流タスクでのモデル性能を大幅に改善しています。新しいモデルに関する詳細な技術情報は、論文 を参照してください。

実装の詳細や更新情報については、公式リポジトリ を確認してください。

mDeBERTa は DeBERTa の多言語バージョンで、DeBERTa と同じ構造を使用し、CC100 多言語データでトレーニングされています。mDeBERTa V3 ベースモデルは12層で、隠れ層のサイズは768です。バックボーンパラメータは86Mで、語彙数は250Kトークンで、埋め込み層には190Mのパラメータが導入されています。このモデルは、XLM - R と同様に2.5TのCC100データを使用してトレーニングされています。

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。