Bert Base Uncased Squad1.1 Block Sparse 0.20 V1

🚀 BERT-base uncased模型在SQuAD v1上的微调版本

本模型采用块稀疏化处理：线性层仅保留了原权重的 20.2%。

整体而言，该模型保留了原权重的 38.1%。

训练过程中使用了Victor Sanh改进版的 Movement Pruning 方法。

这意味着在使用 block-sparse 运行时，该模型在评估阶段的运行速度比密集网络快 1.39倍，不过会对准确率产生一定影响（详见下文）。

此模型是基于HuggingFace的 BERT 基础无大小写区分的检查点在 SQuAD1.1 上进行微调，并从等效模型 csarron/bert-base-uncased-squad-v1 进行蒸馏得到的。该模型不区分大小写，即对 "english" 和 "English" 视为相同。

✨ 主要特性

• 块稀疏化：线性层和整体权重的稀疏化处理，提升运行速度。
• 大小写不敏感：对英文单词的大小写不做区分。
• 微调与蒸馏：基于BERT基础模型在SQuAD1.1上微调并蒸馏。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 详细文档

剪枝详情

块剪枝的一个副作用是部分注意力头被完全移除：在总共144个注意力头中，有90个被移除（占比62.5%）。

以下是剪枝后剩余注意力头在网络中的分布详情。

密度图

详细信息

微调信息

• Python版本：3.8.5
• 机器规格：

CPU: Intel(R) Core(TM) i7-6700K CPU
内存: 64 GiB
GPU: 1 GeForce GTX 3090，显存24GiB
GPU驱动: 455.23.05，CUDA: 11.1

结果

Pytorch模型文件大小：347M（原始BERT模型：438M）

🔧 技术细节

本模型的训练使用了改进版的Movement Pruning方法，通过块稀疏化处理减少了模型的权重数量，从而提升了运行速度。在剪枝过程中，部分注意力头被移除，对模型的结构产生了一定影响。同时，模型在SQuAD1.1数据集上进行微调，并从等效模型进行蒸馏，以保证模型的性能。

📄 许可证

本模型采用MIT许可证。