Bert Base Uncased Sst2 Acc91.1 D37 Hybrid

🚀 bert-base-uncased模型在SST - 2上的微調版本

本模型解決了在文本分類任務中，如何在保證一定性能的前提下減少模型參數的問題。通過對模型進行剪枝操作，減少了模型的權重數量，從而在一定程度上降低了模型的複雜度和計算量，同時保持了較高的準確率。

🚀 快速開始

本模型使用 nn_pruning Python庫創建。首先需要安裝 nn_pruning，它包含優化腳本，可通過移除空行/列將線性層打包成更小的層。

pip install nn_pruning

然後，你可以像往常一樣使用 transformers 庫，只需在管道加載時調用 optimize_model 即可。

from transformers import pipeline
from nn_pruning.inference_model_patcher import optimize_model

cls_pipeline = pipeline(
    "text-classification",
    model="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
    tokenizer="echarlaix/bert-base-uncased-sst2-acc91.1-d37-hybrid",
)

print(f"Parameters count (includes only head pruning, no feed forward pruning)={int(cls_pipeline.model.num_parameters() / 1E6)}M")
cls_pipeline.model = optimize_model(cls_pipeline.model, "dense")
print(f"Parameters count after optimization={int(cls_pipeline.model.num_parameters() / 1E6)}M")
predictions = cls_pipeline("This restaurant is awesome")
print(predictions)

✨ 主要特性

• 參數減少：線性層包含原始權重的 37%，模型整體包含原始權重的 51%（嵌入層佔模型的很大一部分，且此方法未對其進行剪枝）。
• 性能表現：在SST - 2數據集上的 準確率 達到 91.17。
• 大小寫不敏感：該模型對大小寫不敏感，例如不區分 "english" 和 "English"。

📚 詳細文檔

精細剪枝細節

本模型是在HuggingFace的 bert-base-uncased 檢查點上針對任務進行微調，並從 textattack/bert-base-uncased-SST-2 模型進行蒸餾得到的。

塊剪枝方法的一個副作用是，部分注意力頭被完全移除：總共144個注意力頭中移除了88個（61.1%）。以下是剪枝後剩餘注意力頭在網絡中的分佈詳細視圖。

SST - 2數據集詳情

結果

Pytorch模型文件大小：351MB（原始BERT：420MB）

📄 許可證

本模型採用 Apache - 2.0 許可證。