Bert Base Uncased Sparse 90 Unstructured Pruneofa

🚀 90% Sparse BERT-Base (uncased) Prune Once for All

このモデルは、幅広い言語タスクに対して微調整可能な疎な事前学習モデルです。重みの剪定プロセスでは、ニューラルネットワークの一部の重みをゼロに設定します。一部の重みをゼロにすることで、行列が疎になります。ニューラルネットワークの重みの更新には行列乗算が含まれますが、十分な重要な情報を保持しながら行列を疎に保つことができれば、全体的な計算オーバーヘッドを削減できます。モデルのタイトルにある「sparse」という用語は、重みの疎度比率を示しています。詳細については、Zafrir et al. (2021)を読むことができます。

Zafrir et al. (2021)からのPrunce Once for All手法の可視化:

💻 使用例

基本的な使用法

import transformers

model = transformers.AutoModelForQuestionAnswering.from_pretrained('Intel/bert-base-uncased-sparse-90-unstructured-pruneofa')

より多くのコード例については、GitHubリポジトリを参照してください。

📚 詳細ドキュメント

メトリクス (モデル性能):

すべての結果は、同じハイパーパラメータと異なるシードを使用した2つの別々の実験の平均です。

BibTeXエントリと引用情報

@article{zafrir2021prune,
  title={Prune Once for All: Sparse Pre-Trained Language Models},
  author={Zafrir, Ofir and Larey, Ariel and Boudoukh, Guy and Shen, Haihao and Wasserblat, Moshe},
  journal={arXiv preprint arXiv:2111.05754},
  year={2021}
}

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。