Mmalaya2

🚀 MMAlaya2

MMAlaya2は、InternVL - Chat - V1 - 5モデルをベースに20個のLoRAモジュールをファインチューニングします。これらのファインチューニングされたLoRAモジュールは、PEFTモデルのマージ手法であるTIESを使用して、InternVL - Chat - V1 - 5モデルとマージされます。

推論コードはこちらで見つけることができます。

MMBenchベンチマークのmmbench_dev_cn_20231003.tsvデータセットには20のカテゴリが含まれています。各カテゴリについて、まずInternVL - Chat - V1 - 5モデルとのCoT（Chain of Thought）の一貫性を使用してトレーニングデータセットを準備します。nature_relation、image_emotion、image_scene、action_recognition、image_styleなどの特定のカテゴリについては、InternVL - Chat - V1 - 5モデルが誤った結果を出したケースを分析し、これらの問題を解決するためにオンラインソースから画像とQAテキストを準備します。

20個のLoRAをファインチューニングした後、TIES手法を使用してInternVL - Chat - V1 - 5モデルとマージされます。

2024年8月27日にリーダーボードを更新してくれたOpenCompass MMBenchチームに大きな感謝を申し上げます。リーダーボードからランクとスコアを収集して参考にしています。例えば、「7/82.1」のランキングは、そのカテゴリで7位でスコアが82.1であることを示しています。MMBench Test (CN)で最も性能が良いGPT - 4oモデルであるため、GPT - 4o (0513, detail - high)を選択しました。

MMBench Test (CN)での平均スコアは82.1に達し、InternVL - Chat - V1 - 5モデルの80.7を1.4ポイント上回っています。ランクは7位ですが、このスコアは4位のGPT - 4oの性能と一致しており、モデルはGPT - 4oと同等の性能を発揮しています。さらに、MMBench v1.1 Test (CN)、CCBench dev、MMBench Test、MMBench v1.1 Testの他の4つのベンチマークでのスコアも0.2から0.6ポイント向上しており、GPT - 4oの性能とのギャップがさらに縮まっています。

この結果は注目に値すると考え、このモデルを公開しています。

📄 ライセンス

このプロジェクトは、InternVL - Chat - V1 - 5モデルのライセンスに合わせて、MITライセンスの下でリリースされています。ただし、InternLM2はApache - 2.0ライセンスの下でライセンスされています。

📚 引用

このプロジェクトがあなたの研究に役立った場合は、以下を引用してください。

@misc{datacanvas2024mmalaya2,
    author = {DataCanvas Ltd.},
    title = {MMAlaya2},
    year = {2024},
    howpublished = {\url{https://huggingface.co/DataCanvas/MMAlaya2}},
}