Bert Base Uncased Sparse 85 Unstructured Pruneofa

🚀 85% 稀疏 BERT-Base（無大小寫區分）一次性剪枝模型

本模型是一個稀疏預訓練模型，可針對廣泛的語言任務進行微調。權重剪枝過程是將神經網絡的部分權重強制設為零。將部分權重設為零會使矩陣更加稀疏。更新神經網絡權重涉及矩陣乘法，如果我們能在保留足夠重要信息的同時保持矩陣稀疏，就可以降低整體計算開銷。模型標題中的“稀疏”一詞表示權重的稀疏比例；更多詳細信息，可閱讀 Zafrir 等人 (2021)。

Zafrir 等人 (2021) 中一次性剪枝方法的可視化：

✨ 主要特性

• 這是一個通用的稀疏語言模型，當前形式下雖未準備好用於下游預測任務，但可針對多個語言任務進行微調，包括但不限於問答、自然語言推理和情感分類。
• 通過權重剪枝使矩陣稀疏，在保留足夠重要信息的同時降低整體計算開銷。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

import transformers

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-sparse-85-unstructured-pruneofa')

高級用法

如需更多代碼示例，請參考 GitHub 倉庫。

📚 詳細文檔

模型詳情

預期用途

指標（模型性能）

所有結果均為兩次使用相同超參數和不同種子的獨立實驗的平均值。

訓練和評估數據

倫理考量

注意事項和建議

⚠️ 重要提示

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。該模型沒有其他額外的注意事項或建議。

BibTeX 條目和引用信息

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}

📄 許可證

本模型使用 Apache 2.0 許可證。