cs224n-squad2.0-distilbert-base-uncasedオープンソース質疑応答モデル

ホーム

Cs224n Squad2.0 Distilbert Base Uncased

elgeishによって開発

このモデルはCS224n学生プロジェクトのベンチマークモデルとして構築され、DistilBERTアーキテクチャに基づき、SQuAD2.0データセットでファインチューニングされ、質問応答タスクに使用されます。

質問応答システム

Transformers

#SQuAD2.0質問応答 #教育シーン最適化 #軽量BERT

ダウンロード数 15

リリース時間 : 3/2/2022

モデル概要

このモデルは軽量な質問応答モデルで、DistilBERTアーキテクチャに基づき、SQuAD2.0データセットに特化して最適化されており、回答不能な質問を含むタスクを処理できます。

モデル特徴

軽量アーキテクチャ

DistilBERTベースで、標準BERTモデルより小型・高速でありながら高い性能を維持

回答不能問題の処理

SQuAD2.0の回答不能シナリオをサポート

効率的なトレーニング

学生プロジェクト向けにトレーニングパラメータを最適化

モデル能力

読解力

質問応答システム

テキスト理解

使用事例

教育

CS224n学生プロジェクト

学生プロジェクトのベンチマークモデルとして、質問応答システム開発を迅速に開始するのを支援

65.17の正確一致スコアと67.87のF1スコアを提供

質問応答システム

ドキュメントベースの質問応答

与えられたテキストからユーザーの質問に回答

SQuAD2.0データセットで良好なパフォーマンス

🚀 CS224n SQuAD2.0 プロジェクトデータセット

このモデルの目的は、Default Final Project のベースラインを上回るための基準を確立する際に、CS224nの学生がGPU時間を節約できるようにすることです。このモデルをファインチューニングするために使用されるトレーニングセットは、公式のものと同じです。ただし、評価とモデル選択は、公式の開発セットの約半分である6078個のサンプルをランダムに選択して行われました。データファイルは https://github.com/elgeish/squad/tree/master/data にあります。これは2020年冬のバージョンです。公式のSQuAD2.0開発セットにはプロジェクトのテストセットが含まれているため、学生は公式のSQuAD2.0開発セットを一切使用しないようにする必要があります。公式のSQuAD2.0でファインチューニングされたモデルの使用も含みます。なぜなら、それらのモデルはモデル選択に公式のSQuAD2.0開発セットを使用しているからです。

📊 結果

{
  "exact": 65.16946363935504,
  "f1": 67.87348075352251,
  "total": 6078,
  "HasAns_exact": 69.51890034364261,
  "HasAns_f1": 75.16667217179045,
  "HasAns_total": 2910,
  "NoAns_exact": 61.17424242424242,
  "NoAns_f1": 61.17424242424242,
  "NoAns_total": 3168,
  "best_exact": 65.16946363935504,
  "best_exact_thresh": 0.0,
  "best_f1": 67.87348075352243,
  "best_f1_thresh": 0.0
}

⚙️ 注目すべき引数

{
  "do_lower_case": true,
  "doc_stride": 128,
  "fp16": false,
  "fp16_opt_level": "O1",
  "gradient_accumulation_steps": 24,
  "learning_rate": 3e-05,
  "max_answer_length": 30,
  "max_grad_norm": 1,
  "max_query_length": 64,
  "max_seq_length": 384,
  "model_name_or_path": "distilbert-base-uncased-distilled-squad",
  "model_type": "distilbert",
  "num_train_epochs": 4,
  "per_gpu_train_batch_size": 32,
  "save_steps": 5000,
  "seed": 42,
  "train_batch_size": 32,
  "version_2_with_negative": true,
  "warmup_steps": 0,
  "weight_decay": 0
}

🌐 環境設定

{
  "transformers": "2.5.1",
  "pytorch": "1.4.0=py3.6_cuda10.1.243_cudnn7.6.3_0",
  "python": "3.6.5=hc3d631a_2",
  "os": "Linux 4.15.0-1060-aws #62-Ubuntu SMP Tue Feb 11 21:23:22 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux",
  "gpu": "Tesla V100-SXM2-16GB"
}

📚 引用方法

@misc{elgeish2020gestalt,
  title={Gestalt: a Stacking Ensemble for SQuAD2.0},
  author={Mohamed El-Geish},
  journal={arXiv e-prints},
  archivePrefix={arXiv},
  eprint={2004.07067},
  year={2020},
}