Bert Base Uncased Squad1.1 Block Sparse 0.32 V1

🚀 BERT-base uncased模型在SQuAD v1上微調

本模型為塊稀疏模型：線性層包含原權重的 31.7%。

模型整體包含原權重的 47.0%。

訓練採用了Victor Sanh Movement Pruning方法的改進版本。

這意味著使用塊稀疏運行時，該模型在評估時比密集網絡快 1.12倍，但會對準確率產生一定影響（詳見下文）。

此模型是在HuggingFace的BERT基礎無大小寫檢查的檢查點上，針對SQuAD1.1進行微調，並從等價模型csarron/bert-base-uncased-squad-v1進行蒸餾得到的。該模型不區分大小寫：對於“english”和“English”不會有不同處理。

✨ 主要特性

• 塊稀疏模型，減少了權重數量，在評估時運行速度更快。
• 基於BERT基礎無大小寫檢查的檢查點微調，適用於問答任務。
• 不區分大小寫，對英文大小寫不敏感。

📚 詳細文檔

剪枝細節

塊剪枝的一個副作用是部分注意力頭被完全移除：在總共144個注意力頭中，有80個被移除（佔比55.6%）。

以下是剪枝後剩餘注意力頭在網絡中分佈的詳細視圖。

密度圖

詳細信息

微調信息

• Python版本：3.8.5
• 機器規格：

CPU: Intel(R) Core(TM) i7-6700K CPU
內存: 64 GiB
GPU: 1 GeForce GTX 3090，顯存24GiB
GPU驅動: 455.23.05，CUDA: 11.1

結果

Pytorch模型文件大小：355M（原始BERT：438M）

💻 使用示例

基礎用法

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1",
    tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.32-v1"
)

predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})

print(predictions)

📄 許可證

本項目採用MIT許可證。