Minilm L12 H384 Uncased

🚀 MiniLM：用於語言理解與生成的小型快速預訓練模型

MiniLM是從論文“MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers”中衍生出的蒸餾模型。它為語言理解和生成任務提供了輕量級且高效的解決方案，在性能和速度之間取得了良好平衡。

🚀 快速開始

若要了解MiniLM的預處理、訓練等詳細信息，請訪問 原始MiniLM倉庫。

⚠️ 重要提示

此檢查點可直接替代BERT，但在使用前需要進行微調！

✨ 主要特性

英文預訓練模型

我們發佈了從內部預訓練的 UniLM v2 模型（BERT-Base大小）中蒸餾得到的無大小寫區分的12層模型，其隱藏層大小為384。

• MiniLMv1-L12-H384-uncased：12層，384隱藏層，12頭，3300萬個參數，比BERT-Base快2.7倍

在NLU任務上的微調

我們展示了在SQuAD 2.0和幾個GLUE基準任務上的開發結果。

📄 許可證

本項目採用MIT許可證。

📚 引用

如果您在研究中發現MiniLM很有用，請引用以下論文：

@misc{wang2020minilm,
    title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers},
    author={Wenhui Wang and Furu Wei and Li Dong and Hangbo Bao and Nan Yang and Ming Zhou},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}