Minicpm O 2 6

🚀 MiniCPM-o 2.6 - 携帯電話でのビジョン、音声、マルチモーダルライブストリーミング向けGPT - 4oレベルのMLLM

MiniCPM - o 2.6は、MiniCPM - oシリーズの最新かつ最も強力なモデルです。このモデルは、SigLip - 400M、Whisper - medium - 300M、ChatTTS - 200M、およびQwen2.5 - 7Bをベースに、合計80億のパラメータでエンドツーエンドに構築されています。MiniCPM - V 2.6に比べて大幅な性能向上を示し、リアルタイム音声会話やマルチモーダルライブストリーミングの新機能を導入しています。

GitHub | オンラインデモ | 技術ブログ

ニュース

• [2025.03.01] 🚀🚀🚀 MiniCPM - oのアライメント技術であるRLAIF - VがCVPR 2025に採択されました！コード、データセット、論文がオープンソース化されました！
• [2025.01.24] 📢📢📢 MiniCPM - o 2.6の技術レポートが公開されました！こちらを参照。
• [2025.01.19] ⭐️⭐️⭐️ MiniCPM - oがGitHubトレンディングで1位、Hugging Faceトレンディングで2位にランクインしました！

✨ 主な機能

🔥 卓越したビジュアル能力

MiniCPM - o 2.6は、OpenCompassで平均70.2点を獲得し、8つの人気ベンチマークにわたる包括的な評価で優れた成績を収めています。わずか80億のパラメータで、GPT - 4o - 202405、Gemini 1.5 Pro、Claude 3.5 Sonnetなどの広く使用されているプロプライエタリモデルを上回り、単一画像理解において優れた性能を発揮します。また、マルチ画像やビデオ理解ではGPT - 4VやClaude 3.5 Sonnetを上回り、文脈学習能力も有望です。

🎙 最先端の音声能力

MiniCPM - o 2.6は、英語と中国語でのバイリンガルリアルタイム音声会話をサポートし、音声を設定可能です。音声理解タスク（ASRやSTT翻訳など）ではGPT - 4o - realtimeを上回り、オープンソースコミュニティにおける音声会話の意味論的および音響的評価で最先端の性能を示します。また、感情/速度/スタイルの制御、エンドツーエンドの音声クローニング、ロールプレイなどの楽しい機能もサポートしています。

🎬 強力なマルチモーダルライブストリーミング能力

新機能として、MiniCPM - o 2.6はユーザーのクエリとは独立した連続ビデオおよび音声ストリームを受け入れ、リアルタイム音声インタラクションをサポートします。リアルタイムビデオ理解、オムニソース（ビデオと音声）理解、マルチモーダル文脈理解の包括的なベンチマークであるStreamingBenchでは、GPT - 4o - 202408やClaude 3.5 Sonnetを上回り、オープンソースコミュニティで最先端の性能を示します。

💪 強力なOCR能力など

MiniCPM - Vシリーズの人気のビジュアル機能を進化させ、MiniCPM - o 2.6は任意のアスペクト比で最大180万画素（例：1344x1344）の画像を処理できます。250億未満のモデルに対するOCRBenchで最先端の性能を達成し、GPT - 4o - 202405などのプロプライエタリモデルを上回ります。最新のRLAIF - VおよびVisCPM技術に基づいており、信頼性の高い動作を特徴とし、MMHal - BenchでGPT - 4oやClaude 3.5 Sonnetを上回り、30以上の言語でのマルチ言語能力をサポートします。

🚀 卓越した効率性

MiniCPM - o 2.6は、サイズが小さいだけでなく、最先端のトークン密度（すなわち、各ビジュアルトークンにエンコードされる画素数）を示します。180万画素の画像を処理する際にわずか640トークンを生成し、ほとんどのモデルよりも75％少ないトークン数です。これにより、推論速度、最初のトークンの遅延、メモリ使用量、電力消費が直接改善されます。その結果、MiniCPM - o 2.6はiPadなどのエンドデバイスでマルチモーダルライブストリーミングを効率的にサポートできます。

💫 使いやすさ

MiniCPM - o 2.6は、様々な方法で簡単に使用できます。

1. llama.cppを使用して、ローカルデバイスでのCPU推論を効率的に行う。
2. int4およびGGUF形式の16種類の量子化モデルを使用する。
3. vLLMを使用して、高スループットかつメモリ効率の良い推論を行う。
4. LLaMA - Factoryを使用して、新しいドメインやタスクでの微調整を行う。
5. Gradioを使用して、ローカルでのWebUIデモを迅速にセットアップする。
6. サーバーでのオンラインウェブデモを利用する。

🔧 技術詳細

モデルアーキテクチャ

エンドツーエンドのオムニモーダルアーキテクチャ

異なるモダリティのエンコーダ/デコーダがエンドツーエンドで接続され、トレーニングされることで、豊富なマルチモーダル知識を最大限に活用しています。

オムニモーダルライブストリーミングメカニズム

1. オフラインのモダリティエンコーダ/デコーダをオンラインのものに変更し、ストリーミング入出力を可能にします。
2. LLMバックボーンにおけるオムニモーダリティストリーミング処理のために、時分割多重化（TDM）メカニズムを考案しました。これは、並列なオムニモーダリティストリームを小さな周期的な時間スライス内の逐次情報に分割します。

設定可能な音声モデリング設計

従来のテキストシステムプロンプトに加えて、アシスタントの音声を決定する新しい音声システムプロンプトを含むマルチモーダルシステムプロンプトを考案しました。これにより、推論時に柔軟な音声設定が可能になり、エンドツーエンドの音声クローニングや記述に基づく音声作成も容易になります。

📚 詳細ドキュメント

評価

ビジュアル理解結果

画像理解

⁺ トークン密度：最大解像度で各ビジュアルトークンにエンコードされる画素数、すなわち最大解像度での画素数 / ビジュアルトークン数。

注：プロプライエタリモデルについては、公式APIドキュメントで定義された画像エンコーディング課金戦略に基づいてトークン密度を計算しており、これは上限推定値です。

マルチ画像およびビデオ理解

音声理解と音声会話結果

音声理解