Miniplm Qwen 200M

🚀 MinPLM-Qwen-200M

MiniPLM-Qwen-200M 是一個採用Qwen架構的2億參數模型，它使用MiniPLM知識蒸餾框架，以 官方的Qwen1.5-18億參數模型 作為教師模型，在 the Pile 數據集上從頭開始預訓練。

為了保證研究的可復現性，我們還開源了通過MiniPLM中的差異采樣方法提煉出的 預訓練語料庫。

論文 | 代碼

✨ 主要特性

• MiniPLM模型在相同的計算資源下能取得更好的性能，並且在不同模型規模下都能很好地擴展。

📚 詳細文檔

基線模型

• 傳統預訓練模型
• VanillaKD

引用信息

如果您使用了該模型或相關研究，請引用以下論文：

@article{miniplm,
    title={MiniPLM: Knowledge Distillation for Pre-Training Language Models}, 
    author={Yuxian Gu and Hao Zhou and Fandong Meng and Jie Zhou and Minlie Huang},
    journal={arXiv preprint arXiv:2410.17215},
    year={2024}
}

📄 許可證

本項目採用Apache-2.0許可證。