Mmalaya

🚀 MMAlaya

MMAlayaは、大規模言語モデルAlayaに基づく多モーダルモデルです。モデルの重みファイルはDataCanvas/MMAlayaにあります。このモデルは、画像からテキストを生成するタスクに特化しています。

✨ 主な機能

MMAlayaは以下の3つのモジュールで構成されています。

1. 大規模言語モデルAlaya-7B-Chat
2. 画像テキスト特徴エンコーダは、blip2-opt-2.7bのEVA-Gを使用しています。
3. 画像テキスト特徴と大規模言語モデルをつなぐコネクタとして、blip2-opt-2.7bのQformerと線形投影器を使用しています。

🔧 技術詳細

• 訓練アーキテクチャ：モデルの訓練は主にLLaVAアーキテクチャに基づいて行われています。
• 評価結果：
  • OpenCompass評価ランキングでは、平均点41.1で25位を獲得しました。
  • MMBench評価ランキング（オープンソースのモデル、中国語テストセット）では、平均点58.6で25位を獲得しました。

💻 使用例

推論については、inference.pyを参考にすることができます。

📄 ライセンス

MMAlayaはApache 2.0 Lisenseを使用しており、モデルの重みはオープンであり、商用利用が許可されています。もしあなたのプロジェクトでMMAlayaを引用する場合は、以下のように出典を明記してください。

@misc{datacanvas2024mmalaya,
    author = {DataCanvas Ltd.},
    title = {mmalaya},
    year = {2024},
    howpublished = {\url{https://github.com/DataCanvasIO/MMAlaya}},
}