# SQuAD最適化

ModernBERTをファインチューニングした質問応答モデルで、SQuADデータセットで優れた性能を発揮し、抽出型質問応答タスクに適しています。

BART-baseアーキテクチャに基づき、SQuADデータセットでファインチューニングされた質問応答モデルで、読解タスクに適しています。

SQuADv1質問応答データセットでファインチューニングされたMobileBERTモデルベースのバージョン、質問応答タスク向けに最適化

このモデルは、DeBERTa-baseをSQuAD1データセットで微調整した後、adversarial_qaデータセットでさらに微調整した質問応答モデルです。

このモデルは、bert-base-uncasedをSQuADデータセットでファインチューニングした質問応答モデルです

MobileBERTはBERT_LARGEの軽量化バージョンで、ボトルネック構造を採用し、自己注意機構とフィードフォワードネットワークのバランスを実現しています。このモデルはSQuAD1.1データセットで微調整され、質問応答タスクに適しています。

このモデルはdistilroberta-baseでトレーニングされたクロスエンコーダーで、特定の質問に与えられた段落が答えられるかどうかを判断するために使用され、GLUE QNLIデータセットでトレーニングされています。

これはELECTRAアーキテクチャに基づくクロスエンコーダモデルで、質問応答タスクにおける自然言語推論（NLI）に特化しており、与えられた質問が特定の段落で回答できるかどうかを判断します。

ELECTRA-Largeアーキテクチャに基づく2段階トレーニング質問応答モデル。最初に合成敵対データでトレーニングし、その後SQuADとAdversarialQAデータセットで微調整

映画コーパスを用いてドメイン適応事前学習を行ったRoBERTaベースモデルで、モデルヘッド構造を調整してSQuAD質問応答タスクを実行可能。映画分野の質問に回答できます。

このモデルはnn_pruningライブラリで剪定され、元の重みの32%が残され、実行速度はオリジナル版の2.15倍で、F1値は83.22です。