Mengzi Oscar Base

🚀 孟子奧斯卡基礎模型（中文多模態預訓練模型）

孟子奧斯卡模型基於多模態預訓練模型 Oscar 進行訓練，並使用 孟子-伯特基礎模型 進行初始化。該模型使用了370萬對圖像和文本，其中包括70萬對中文圖像-描述對、300萬對中文圖像-問題對，總共涉及22萬張不同的圖像。

《孟子：邁向輕量級且精巧的中文預訓練模型》

🚀 快速開始

✨ 主要特性

孟子奧斯卡模型結合了多模態預訓練模型Oscar的優勢和孟子-伯特基礎模型的特點，利用大量的中文圖像和文本數據進行訓練，能夠更好地處理中文多模態任務。

📦 安裝指南

安裝說明請查看 INSTALL.md。

💻 使用示例

預訓練與微調

詳情請參考 孟子-奧斯卡模型使用說明。

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用說明

如果您覺得本技術報告或資源有用，請在您的論文中引用以下技術報告：

@misc{zhang2021mengzi,
      title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese}, 
      author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
      year={2021},
      eprint={2110.06696},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}