Mmalaya

🚀 MMAlaya

MMAlaya 是基於大語言模型 Alaya 的多模態模型。它能有效融合圖像與文本信息，為多模態任務提供強大的支持，在相關評測中也展現出了優秀的性能。模型權重文件可在 DataCanvas/MMAlaya 獲取。

✨ 主要特性

模塊組成

MMAlaya 包含以下三個核心模塊：

• 大語言模型 Alaya-7B-Chat，提供強大的語言處理能力。
• 圖像文本特徵編碼器採用來自 blip2-opt-2.7b 的 EVA - G，能夠高效提取圖像和文本的特徵。
• 圖像文本特徵到大語言模型的連接器，使用來自 blip2-opt-2.7b 的 Qformer 和線性投影器，實現特徵的有效連接和轉換。

訓練架構

模型的訓練主要基於 LLaVA 架構，確保了模型在多模態任務上的性能和穩定性。

評測表現

• 在 OpenCompass 評測榜單中，MMAlaya 均分 41.1，排名 25 名。
• 在 MMBench 評測榜單的開源開放模型中文測試集中，均分 58.6，排名 25 名。

💻 使用示例

推理示例

推理可以參考 inference.py 中的代碼示例。

📄 許可證

MMAlaya 使用 Apache 2.0 License，開放模型權重，允許商業用途。

📚 引用說明

如果您的項目引用了我們的 MMAlaya，請標明出處：

@misc{datacanvas2024mmalaya,
    author = {DataCanvas Ltd.},
    title = {mmalaya},
    year = {2024},
    howpublished = {\url{https://github.com/DataCanvasIO/MMAlaya}},
}