Bert Base Uncased Squad1.1 Block Sparse 0.20 V1

🚀 BERT-base uncased模型在SQuAD v1上的微調版本

本模型採用塊稀疏化處理：線性層僅保留了原權重的 20.2%。

整體而言，該模型保留了原權重的 38.1%。

訓練過程中使用了Victor Sanh改進版的 Movement Pruning 方法。

這意味著在使用 block-sparse 運行時，該模型在評估階段的運行速度比密集網絡快 1.39倍，不過會對準確率產生一定影響（詳見下文）。

此模型是基於HuggingFace的 BERT 基礎無大小寫區分的檢查點在 SQuAD1.1 上進行微調，並從等效模型 csarron/bert-base-uncased-squad-v1 進行蒸餾得到的。該模型不區分大小寫，即對 "english" 和 "English" 視為相同。

✨ 主要特性

• 塊稀疏化：線性層和整體權重的稀疏化處理，提升運行速度。
• 大小寫不敏感：對英文單詞的大小寫不做區分。
• 微調與蒸餾：基於BERT基礎模型在SQuAD1.1上微調並蒸餾。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.20-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📚 詳細文檔

剪枝詳情

塊剪枝的一個副作用是部分注意力頭被完全移除：在總共144個注意力頭中，有90個被移除（佔比62.5%）。

以下是剪枝後剩餘注意力頭在網絡中的分佈詳情。

密度圖

詳細信息

微調信息

• Python版本：3.8.5
• 機器規格：

CPU: Intel(R) Core(TM) i7-6700K CPU
內存: 64 GiB
GPU: 1 GeForce GTX 3090，顯存24GiB
GPU驅動: 455.23.05，CUDA: 11.1

結果

Pytorch模型文件大小：347M（原始BERT模型：438M）

🔧 技術細節

本模型的訓練使用了改進版的Movement Pruning方法，通過塊稀疏化處理減少了模型的權重數量，從而提升了運行速度。在剪枝過程中，部分注意力頭被移除，對模型的結構產生了一定影響。同時，模型在SQuAD1.1數據集上進行微調，並從等效模型進行蒸餾，以保證模型的性能。

📄 許可證

本模型採用MIT許可證。