Bert Base Uncased Squadv1.1 Sparse 80 1x4 Block Pruneofa

🚀 80% 1x4 塊稀疏 BERT-Base（無大小寫）在 SQuADv1.1 上微調的模型

該模型針對問答這一自然語言處理任務進行了微調，在 SQuAD 1.1 數據集上進行訓練。它是對 Prune Once For All 80% 1x4 塊稀疏預訓練 BERT-Base 模型進行微調，並結合知識蒸餾的成果。

我們提出了一種通過整合權重剪枝和模型蒸餾來訓練稀疏預訓練 Transformer 語言模型的新方法。這些稀疏預訓練模型可用於廣泛任務的遷移學習，同時保持其稀疏模式。我們展示了我們訓練的壓縮稀疏預訓練模型如何以最小的精度損失將其知識遷移到五個不同的下游自然語言任務中。

✨ 主要特性

• 針對問答任務進行微調，適用於自然語言處理領域。
• 結合了權重剪枝和知識蒸餾技術，訓練出稀疏預訓練模型。
• 能夠在保持稀疏模式的同時進行遷移學習，應用於多種下游任務。

📦 安裝指南

暫未提供具體安裝步驟，可參考代碼示例中的導入方式。

💻 使用示例

基礎用法

import transformers
import model_compression_research as model_comp

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-squadv1.1-sparse-80-1x4-block-pruneofa')

scheduler = mcr.pruning_scheduler_factory(model, '../../examples/transformers/question-answering/config/lock_config.json')

# Train your model...

scheduler.remove_pruning()

如需更多代碼示例，請參考 GitHub 倉庫。

📚 詳細文檔

模型詳情

Prunce Once for All 方法的可視化，來自 Zafrir et al. (2021)。更多詳情可在他們的論文中找到。

預期用途

指標（模型性能）

所有結果均為兩次使用相同超參數和不同種子的獨立實驗的平均值。

訓練和評估數據

倫理考量

注意事項和建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。該模型沒有額外的注意事項或建議。

📄 許可證

本模型使用 Apache 2.0 許可證。

🔧 技術細節

該模型是對 Prune Once For All 80% 1x4 塊稀疏預訓練 BERT-Base 模型進行微調，並結合知識蒸餾的成果。訓練過程中使用了英文維基百科數據集進行預訓練，在 SQuAD1.1 數據集上進行微調。具體技術細節可參考 論文: Zafrir et al. (2021)。

📚 引用信息

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}