Bert Large Uncased Squadv1.1 Sparse 80 1x4 Block Pruneofa

🚀 80% 1x4ブロックスパースBERT-Large (uncased)、SQuADv1.1でファインチューニング済み

このモデルは、Prune OFAの80% 1x4ブロックスパース事前学習BERT-Largeを知識蒸留と組み合わせてファインチューニングした結果です。 このモデルは、SQuADv1.1開発セットで以下の結果を得ています：
{"exact_match": 84.673, "f1": 91.174}

詳細については、当社の論文 Prune Once for All: Sparse Pre-Trained Language Models と、オープンソース実装 こちら を参照してください。

📄 ライセンス

Apache-2.0