Mobilebert Uncased Finetuned Squadv1

🚀 MobileBERT + SQuAD (v1.1) 📱❓

mobilebert-uncased 在 SQUAD v2.0 数据集 上进行了微调，用于 问答 下游任务。该模型能高效处理问答任务，为相关应用提供有力支持。

🚀 快速开始

你可以使用以下代码快速调用该模型进行问答任务：

from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv1')
QnA_pipeline({
    'context': 'A new strain of flu that has the potential to become a pandemic has been identified in China by scientists.',
    'question': 'Who did identified it ?'
    })
    
# Output: {'answer': 'scientists.', 'end': 106, 'score': 0.7885545492172241, 'start': 96}

✨ 主要特性

• 轻量级设计：MobileBERT 是 BERT_LARGE 的精简版本，配备了瓶颈结构，并在自注意力机制和前馈网络之间进行了精心设计的平衡。
• 快速收敛：该模型比其他模型收敛速度快得多，微调成本也较低。

📦 安装指南

模型的训练命令如下，你可以根据此命令进行模型的训练和微调：

python transformers/examples/question-answering/run_squad.py \
  --model_type bert \
  --model_name_or_path 'google/mobilebert-uncased' \
  --do_eval \
  --do_train \
  --do_lower_case \
  --train_file '/content/dataset/train-v1.1.json' \
  --predict_file '/content/dataset/dev-v1.1.json' \
  --per_gpu_train_batch_size 16 \
  --learning_rate 3e-5 \
  --num_train_epochs 5 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir '/content/output' \
  --overwrite_output_dir \
  --save_steps 1000

📚 详细文档

🔍 下游任务详情 - 模型 🧠

MobileBERT 是 BERT_LARGE 的精简版本，它配备了瓶颈结构，并在自注意力机制和前馈网络之间进行了精心设计的平衡。这里使用的检查点是原始的 MobileBert 优化无大小写英文检查点：(uncased_L-24_H-128_B-512_A-4_F-4_OPT)。更多关于该模型的信息请参考 这里。

🔍 下游任务详情 - 数据集 📚

斯坦福问答数据集（SQuAD） 是一个阅读理解数据集，由众包工作者针对一组维基百科文章提出的问题组成。每个问题的答案都是对应阅读段落中的一段文本，或者该问题可能无法回答。SQuAD v1.1 包含 500+ 篇文章的 100,000+ 个问答对。

🔧 技术细节

🏋️‍ 模型训练

该模型在 Tesla P100 GPU 和 25GB 内存上进行训练。其收敛速度比其他模型快得多，因此微调成本也较低。

🧾 测试集结果

📄 许可证

文档未提及相关信息，故跳过该章节。

由 Manuel Romero/@mrm8488 创建 | 领英

于西班牙用心打造 ♥