Bert Tiny 5 Finetuned Squadv2

🚀 BERT-Tiny 在SQuAD v2上微调模型

BERT-Tiny 由 Google Research 创建，并在 SQuAD 2.0 数据集上进行微调，用于 问答（Q&A） 下游任务。

模型大小（训练后）：24.33 MB

✨ 主要特性

BERT-Tiny及其“家族”详情（来自其文档）

该模型于2020年3月11日发布，是24个较小的BERT模型的一部分（仅英文，无大小写区分，使用WordPiece掩码进行训练），相关内容参考论文 《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》。

这些较小的BERT模型适用于计算资源受限的环境。它们可以像原始BERT模型一样进行微调。不过，在知识蒸馏场景中效果最佳，即微调标签由一个更大、更准确的“教师”模型生成。

下游任务（问答）详情 - 数据集

SQuAD2.0 将SQuAD1.1中的100,000个问题与超过50,000个由众包工作者对抗性编写的无法回答的问题相结合，这些无法回答的问题看起来与可回答的问题相似。要在SQuAD2.0上取得好成绩，系统不仅要在可能的情况下回答问题，还要判断段落何时不支持答案并放弃回答。

📦 安装指南

模型在Tesla P100 GPU和25GB RAM上进行训练。微调脚本可在 此处 找到。

🔧 技术细节

模型训练

模型在Tesla P100 GPU和25GB的RAM上进行训练，微调脚本可在 这里 找到。

训练结果

与其他模型的对比：

💻 使用示例

基础用法

使用 pipelines 快速使用模型：

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-tiny-5-finetuned-squadv2",
    tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2"
)

qa_pipeline({
    'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
    'question': "Who has been working hard for hugginface/transformers lately?"

})

由 Manuel Romero/@mrm8488 创建 | 领英

在西班牙用心打造 ♥