Bert Base Uncased Squad1.1 Block Sparse 0.07 V1

🚀 BERT-base無大小寫區分模型在SQuAD v1上微調

本模型採用塊稀疏化：線性層僅保留了原權重的 7.5%。

整體而言，該模型保留了原權重的 28.2%。

訓練過程使用了Victor Sanh改進版的移動剪枝方法。

這意味著在使用塊稀疏運行時，該模型在評估階段的運行速度比密集網絡快 1.92倍，不過會對準確率產生一定影響（詳見下文）。

此模型是基於HuggingFace的BERT基礎無大小寫區分檢查點在SQuAD1.1上進行微調，並從等效模型csarron/bert-base-uncased-squad-v1進行蒸餾得到的。該模型不區分大小寫，即對於“english”和“English”不會有不同處理。

✨ 主要特性

• 塊稀疏化：線性層和整體權重大幅減少，提升運行速度。
• 微調與蒸餾：基於BERT基礎模型在SQuAD1.1上微調並蒸餾。
• 大小寫不敏感：處理文本時不區分大小寫。

📚 詳細文檔

剪枝詳情

塊剪枝的一個副作用是部分注意力頭被完全移除：在總共144個注意力頭中，有106個被移除（佔比73.6%）。

以下是剪枝後剩餘注意力頭在網絡中的詳細分佈情況。

密度圖

詳細信息

微調信息

• Python版本：3.8.5
• 機器規格：

CPU: Intel(R) Core(TM) i7-6700K CPU
內存: 64 GiB
GPU: 1 GeForce GTX 3090，顯存24GiB
GPU驅動: 455.23.05，CUDA: 11.1

結果

Pytorch模型文件大小：335M（原始BERT：438M）

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.07-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 許可證

本項目採用MIT許可證。