Bert Base Uncased Squadv1 X2.32 F86.6 D15 Hybrid V1

🚀 BERT-base無大小寫區分模型在SQuAD v1上微調

本模型解決了在問答任務中提升模型推理速度同時儘量保持準確率的問題。通過對BERT-base無大小寫區分模型進行微調與剪枝，在SQuAD v1數據集上實現了推理速度的提升，為問答系統的實際應用提供了更高效的解決方案。

🚀 快速開始

要使用此模型，首先需要安裝nn_pruning庫，它包含優化腳本，可通過移除空行/列將線性層打包成更小的形式。

pip install nn_pruning

然後，你可以像往常一樣使用transformers庫，只需在管道加載時調用optimize_model即可。

from transformers import pipeline
from nn_pruning.inference_model_patcher import optimize_model

qa_pipeline = pipeline(
    "question-answering",
    model="madlag/bert-base-uncased-squadv1-x2.32-f86.6-d15-hybrid-v1",
    tokenizer="madlag/bert-base-uncased-squadv1-x2.32-f86.6-d15-hybrid-v1"
)

print("bert-base-uncased參數數量: 165.0M")
print(f"參數數量（僅包括注意力頭剪枝，不包括前饋層剪枝）={int(qa_pipeline.model.num_parameters() / 1E6)}M")
qa_pipeline.model = optimize_model(qa_pipeline.model, "dense")

print(f"完全優化後的參數數量={int(qa_pipeline.model.num_parameters() / 1E6)}M")
predictions = qa_pipeline({
    'context': "Frédéric François Chopin, born Fryderyk Franciszek Chopin (1 March 1810 – 17 October 1849), was a Polish composer and virtuoso pianist of the Romantic era who wrote primarily for solo piano.",
    'question': "Who is Frederic Chopin?",
})
print("預測結果", predictions)

✨ 主要特性

• 剪枝優化：線性層僅包含原權重的15.0%，整體模型包含原權重的34.0%，通過剪枝方法得到結構化矩陣，使模型在評估時運行速度比bert-base-uncased快2.32倍。
• 準確率表現：在準確率方面，其F1值為86.64，相比bert-base-uncased的88.5，F1值下降了1.86。
• 大小寫不敏感：該模型不區分大小寫，例如不區分english和English。

📚 詳細文檔

精細剪枝細節

本模型是基於HuggingFace的bert-base-uncased檢查點在SQuAD1.1上進行微調，並從bert-large-uncased-whole-word-masking-finetuned-squad模型進行知識蒸餾得到的。塊剪枝的一個副作用是部分注意力頭被完全移除，在總共144個注意力頭中移除了63個（43.8%）。

SQuAD1.1數據集詳情

微調信息

• Python版本：3.8.5
• 機器規格：

CPU: Intel(R) Core(TM) i7-6700K CPU
內存: 64 GiB
GPU: 1 GeForce GTX 3090，顯存24GiB
GPU驅動: 455.23.05，CUDA: 11.1

結果

Pytorch模型文件大小：368MB（原始BERT：420MB）

📄 許可證

本模型採用MIT許可證。