Omnilmm 12B

🚀 OmniLMM 12B

OmniLMM-12B は現在のOmniLMMシリーズで最も高性能なバージョンです。このモデルはEVA02-5BとZephyr-7B-βをベースに構築され、パーシーバーリサンプラー層で接続され、カリキュラム学習によってマルチモーダルデータで訓練されています。このモデルには以下の3つの顕著な特徴があります。

• 🔥 高い性能：OmniLMM-12Bは、同等のサイズのモデルの中でトップクラスの性能を達成しており、複数のベンチマーク（MME、MMBench、SEED-Benchなど）で既存のLMMを上回っています。また、豊富なマルチモーダルな世界知識を持っています。
• 🏆 信頼性の高い動作：LMMはしばしば幻覚現象を引き起こし、画像に存在しないオブジェクトを誤って記述することがあります。OmniLMM-12Bは、マルチモーダルRLHFによって信頼性の高い動作にアライメントされた最先端のオープンソースLMMです（最近のRLHF-V技術を使用）。MMHal-Benchではオープンソースモデルの中で1位を占め、Object HalBenchではGPT-4Vを上回っています。
• 🕹 リアルタイムマルチモーダルインタラクション：OmniLMM-12BとGPT-3.5（テキストのみ）を組み合わせて、リアルタイムマルチモーダルインタラクティブアシスタントを構築しています。このアシスタントはカメラからのビデオストリームとマイクからの音声ストリームを受け取り、音声出力を行います。まだ初期段階ですが、モデルはGeminiデモビデオに示されている面白いケースの一部を、ビデオ編集なしで再現することができます。

GitHub | デモ

🚀 クイックスタート

このプロジェクトのモデルは、視覚的質問応答（Visual Question Answering）タスクに特化しています。以下の情報を参考に、モデルの概要や使い方をご確認ください。

✨ 主な機能

• 高い性能：同等サイズのモデルの中でトップクラスの性能を発揮し、複数のベンチマークで既存のLMMを上回ります。
• 信頼性の高い動作：マルチモーダルRLHFによって信頼性の高い動作にアライメントされており、幻覚現象を抑えています。
• リアルタイムマルチモーダルインタラクション：カメラからのビデオストリームとマイクからの音声ストリームを受け取り、音声出力を行うことができます。

📚 ドキュメント

評価

デモ

OmniLMM-12Bのデモを試すにはここをクリックしてください。

使用方法

使用方法の詳細については、GitHubを参照してください。

📄 ライセンス

モデルライセンス

• このリポジトリのコードはApache-2.0に従って公開されています。
• OmniLMMのパラメータの使用は、"General Model License Agreement - Source Notes - Publicity Restrictions - Commercial License"に従います。
• パラメータは学術研究には完全に公開されています。
• 商用利用については、cpm@modelbest.cnに連絡して書面による許可を取得してください。登録後は無料での商用利用も可能です。

声明

• LMMとして、OmniLMMは大量のテキストを学習することで内容を生成しますが、理解や個人的な意見の表現、価値判断を行うことはできません。OmniLMMによって生成される内容は、モデル開発者の意見や立場を代表するものではありません。
• OmniLMMオープンソースモデルの使用によって生じる問題、データセキュリティ問題、世論のリスク、またはモデルの誤った誘導、誤用、拡散、または誤使用によって生じるすべてのリスクや問題について、当方は責任を負いません。

当チームのマルチモーダルプロジェクト

VisCPM | RLHF-V | LLaVA-UHD

引用

もし当研究が役に立った場合は、以下の論文を引用していただけると幸いです。

@article{yu2023rlhf,
  title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
  author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
  journal={arXiv preprint arXiv:2312.00849},
  year={2023}
}
@article{viscpm,
    title={Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages}, 
    author={Jinyi Hu and Yuan Yao and Chongyi Wang and Shan Wang and Yinxu Pan and Qianyu Chen and Tianyu Yu and Hanghao Wu and Yue Zhao and Haoye Zhang and Xu Han and Yankai Lin and Jiao Xue and Dahai Li and Zhiyuan Liu and Maosong Sun},
    journal={arXiv preprint arXiv:2308.12038},
    year={2023}
}
@article{xu2024llava-uhd,
  title={{LLaVA-UHD}: an LMM Perceiving Any Aspect Ratio and High-Resolution Images},
  author={Xu, Ruyi and Yao, Yuan and Guo, Zonghao and Cui, Junbo and Ni, Zanlin and Ge, Chunjiang and Chua, Tat-Seng and Liu, Zhiyuan and Huang, Gao},
  journal={arXiv preprint arXiv:2403.11703},
  year={2024}
}