mobilebert-uncased-finetuned-squadv1オープンソース英文質問応答モデル

ホーム

Mobilebert Uncased Finetuned Squadv1

mrm8488によって開発

MobileBERTに基づく軽量質問応答モデルで、SQuAD v1.1データセットで微調整され、英語の質問応答タスクに適しています。

質問応答システム

Transformers

英語#軽量質問応答 #低リソース微調整 #英語読解

ダウンロード数 27

リリース時間 : 3/2/2022

モデル概要

MobileBERTはBERT_LARGEの軽量化バージョンで、ボトルネック構造を用いて最適化されています。このモデルはSQuAD v1.1質問応答データセットで微調整され、与えられたテキストから回答の断片を抽出するために使用されます。

モデル特徴

軽量化設計

標準のBERTモデルと比較して、パラメータが少なく、サイズが小さい（わずか94MB）ため、モバイル端でのデプロイに適しています。

高速収束

訓練時に他のBERTモデルよりも速く収束し、微調整コストが低いです。

正確な回答位置特定

与えられたテキストから質問の回答の開始と終了位置を正確に特定できます。

モデル能力

テキスト理解

回答断片抽出

英語質問応答

使用事例

スマートカスタマーサービス

FAQ自動回答

知識ベースのドキュメントに基づいて一般的な質問に自動的に回答します。

SQuAD v1.1テストセットで82.33 EMと89.64 F1を達成しました。

教育支援

読解支援

学生がテキストから質問の回答を迅速に見つけるのを支援します。

🚀 MobileBERT + SQuAD (v1.1) 📱❓

mobilebert-uncased を SQUAD v2.0 データセットでファインチューニングし、質問応答（Q&A） の下流タスクに使用します。

🚀 クイックスタート

このモデルは、質問応答タスクに特化しており、SQuAD v2.0 データセットでファインチューニングされています。以下のセクションでは、モデルとデータセットの詳細、トレーニング方法、テストセットの結果、そして実際の使用例を紹介します。

✨ 主な機能

MobileBERT は BERT_LARGE の薄型バージョンで、ボトルネック構造と自己注意とフィードフォワードネットワークのバランスが良く設計されています。
このモデルは他のモデルよりもはるかに高速に収束し、ファインチューニングも低コストで行えます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

🔧 下流タスク（Q&A）の詳細 - モデル 🧠

MobileBERT は BERT_LARGE の薄型バージョンで、ボトルネック構造を備え、自己注意とフィードフォワードネットワークのバランスが慎重に設計されています。

ここで使用されるチェックポイントは、元の MobileBert Optimized Uncased English: (uncased_L-24_H-128_B-512_A-4_F-4_OPT) チェックポイントです。

モデルの詳細についてはこちらを参照してください。

🔧 下流タスク（Q&A）の詳細 - データセット 📚

Stanford Question Answering Dataset (SQuAD) は読解データセットで、Wikipedia の記事に対してクラウドワーカーが作成した質問で構成されています。各質問の答えは、対応する読解文のテキストセグメント、または質問に答えられない場合もあります。 SQuAD v1.1 には、500以上の記事に対する 100,000以上 の質問と回答のペアが含まれています。

🔧 モデルのトレーニング 🏋️‍

このモデルは、Tesla P100 GPU と 25GB の RAM を使用して、以下のコマンドでトレーニングされました。

python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path 'google/mobilebert-uncased' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v1.1.json' \
  --predict_file '/content/dataset/dev-v1.1.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 5 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000

このモデルは他のモデルよりもはるかに高速に収束するため、ファインチューニングも低コストで行えます。

🔧 テストセットの結果 🧾

指標	値
EM	82.33
F1	89.64
サイズ	94 MB

💻 使用例

基本的な使用法

パイプラインを使用した高速な使用方法は以下の通りです。

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv1')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'Who did identified it ?'
    })
    
# 出力: {'answer': 'scientists.', 'end': 106, 'score': 0.7885545492172241, 'start': 96}