Bert Large Uncased Squadv1.1 Sparse 80 1x4 Block Pruneofa

🚀 80% 1x4塊稀疏BERT-Large（無大小寫區分）在SQuADv1.1上微調的模型

該模型是對Prune OFA 80% 1x4塊稀疏預訓練BERT-Large進行微調，並結合知識蒸餾的成果。此模型在SQuADv1.1開發集上取得了如下結果：
{"exact_match": 84.673, "f1": 91.174}

欲瞭解更多詳情，請參閱我們的論文 一勞永逸的剪枝：稀疏預訓練語言模型，以及我們的開源實現 點擊此處查看。

📄 許可證

本項目採用Apache-2.0許可證。