Distilbert Base Uncased Sparse 90 Unstructured Pruneofa

🚀 90% 稀疏 DistilBERT-Base（無大小寫區分）一次性剪枝模型

本模型是一個稀疏預訓練模型，可針對廣泛的語言任務進行微調。權重剪枝過程是將神經網絡的部分權重強制設為零。將部分權重設為零會使矩陣變得更稀疏。更新神經網絡權重涉及矩陣乘法，如果我們能在保留足夠重要信息的同時保持矩陣稀疏，就可以降低整體計算開銷。模型名稱中的“稀疏”一詞表示權重的稀疏比例；更多詳細信息，可閱讀 Zafrir 等人 (2021)。

來自 Zafrir 等人 (2021) 的一次性剪枝方法可視化：

✨ 主要特性

該模型作為通用稀疏語言模型，雖當前狀態不適用於下游預測任務，但可針對多種語言任務進行微調，包括但不限於問答、自然語言推理和情感分類等。

📦 模型詳情

📚 預期用途

💻 使用示例

基礎用法

以下是在 Python 中導入此模型的示例：

import transformers

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/distilbert-base-uncased-sparse-90-unstructured-pruneofa')

更多代碼示例，請參考 GitHub 倉庫。

🔧 模型性能指標

所有結果均為兩次使用相同超參數和不同種子的獨立實驗的平均值。

🔧 訓練和評估數據

🔧 倫理考量

🔧 注意事項和建議

⚠️ 重要提示

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。此模型沒有額外的注意事項或建議。

📄 許可證

本模型使用 Apache 2.0 許可證。

📖 BibTeX 引用和引用信息

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}