Bert Base Uncased Squad1.1 Block Sparse 0.13 V1

🚀 BERT-base uncased模型在SQuAD v1上微调

本模型采用块稀疏化处理：线性层仅保留了原权重的 12.5%。

整体而言，该模型保留了原权重的 32.1%。

训练过程使用了Victor Sanh改进版的移动剪枝方法。

这意味着在使用块稀疏运行时，该模型在评估阶段的运行速度比密集网络快 1.65倍，不过会对准确率产生一定影响（详见下文）。

该模型是在HuggingFace的BERT基础无大小写区分的检查点上，针对SQuAD1.1数据集进行微调，并从等效模型csarron/bert-base-uncased-squad-v1中进行知识蒸馏得到的。此模型不区分大小写，即对“english”和“English”的处理结果相同。

✨ 主要特性

• 块稀疏化处理，减少模型权重，提升运行速度。
• 基于BERT基础模型微调，适用于问答任务。
• 不区分大小写，具有一定的灵活性。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 详细文档

剪枝细节

块剪枝的一个副作用是部分注意力头被完全移除：在总共144个注意力头中，有97个被移除（占比67.4%）。

以下是剪枝后剩余注意力头在网络中的分布详情。

密度图

数据集详情

微调详情

• Python版本：3.8.5
• 机器规格：

CPU: Intel(R) Core(TM) i7-6700K CPU
内存: 64 GiB
GPU: 1 GeForce GTX 3090，显存24GiB
GPU驱动: 455.23.05，CUDA: 11.1

结果

Pytorch模型文件大小：342M（原始BERT模型：438M）

🔧 技术细节

该模型使用改进版的移动剪枝方法进行训练，通过块稀疏化处理减少模型权重，提升运行速度。在剪枝过程中，部分注意力头被移除，对模型的性能产生了一定影响。具体的剪枝细节和性能指标可参考上文的详细文档。

📄 许可证

本模型采用MIT许可证。