Mobilebert Uncased Finetuned Squadv2

🚀 MobileBERT + SQuAD v2 📱❓

mobilebert-uncased を SQUAD v2.0 データセット でファインチューニングし、質問応答（Q&A） の下流タスクに使用します。

🚀 クイックスタート

このモデルは、質問応答タスクに特化しており、MobileBERTをSQuAD v2.0データセットでファインチューニングしたものです。以下に、具体的な使い方や詳細を説明します。

✨ 主な機能

• MobileBERTは、BERT_LARGEの薄型バージョンで、ボトルネック構造を備え、自己注意機構とフィードフォワードネットワークのバランスが巧みに設計されています。
• SQuAD2.0データセットを使用して訓練されており、回答可能な質問だけでなく、回答不能な質問にも対応できます。
• 他のモデルと比較して、収束が速く、ファインチューニングのコストが低いです。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、モデルを訓練することができます。

python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path 'google/mobilebert-uncased' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v2.0.json' \
  --predict_file '/content/dataset/dev-v2.0.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 5 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000 \
  --version_2_with_negative

💻 使用例

基本的な使用法

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv2')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'Who did identified it ?'
    })
    
# Output: {'answer': 'scientists.', 'end': 106, 'score': 0.41531604528427124, 'start': 96}

📚 ドキュメント

下流タスク（Q&A）の詳細 - モデル 🧠

MobileBERT は BERT_LARGE の薄型バージョンで、ボトルネック構造を備え、自己注意機構とフィードフォワードネットワークのバランスが巧みに設計されています。

ここで使用されているチェックポイントは、元のMobileBert Optimized Uncased English: (uncased_L-24_H-128_B-512_A-4_F-4_OPT) チェックポイントです。

モデルに関する詳細は こちら を参照してください。

下流タスク（Q&A）の詳細 - データセット 📚

SQuAD2.0 は、SQuAD1.1の10万件の質問に、クラウドワーカーによって敵対的に作成された5万件以上の回答不能な質問を組み合わせたものです。SQuAD2.0で良好な結果を得るには、システムは可能な限り質問に回答するだけでなく、段落に回答がない場合にも回答を控える必要があります。

🔧 技術詳細

このモデルは、Tesla P100 GPUと25GBのRAMを使用して訓練されました。このモデルは他のモデルよりもはるかに速く収束するため、ファインチューニングのコストも低いです。

📄 ライセンス

このモデルは Manuel Romero/@mrm8488 によって作成され、LinkedIn でも公開されています。

テストセットの結果 🧾

Created by Manuel Romero/@mrm8488 | LinkedIn

Made with ♥ in Spain