Minicpm V

🚀 MiniCPM-V

MiniCPM-Vは、デプロイに適した有望な性能を持つ効率的なバージョンです。このモデルは、SigLip-400MとMiniCPM-2.4Bを基に構築され、パーシーバーリサンプラーで接続されています。OmniLMM-3Bの注目すべき特徴は以下の通りです。

✨ 主な機能

ニュース

• [2025.01.14] 🔥🔥 MiniCPM-o 2.6をオープンソース化しました。MiniCPM-V 2.6に比べて大幅な性能向上が見られ、リアルタイムの音声対話とマルチモーダルライブストリーミングをサポートしています。ぜひ試してみてください。
• [2024.08.06] 🔥 MiniCPM-V 2.6をオープンソース化しました。単一画像、複数画像、ビデオ理解においてGPT-4Vを上回る性能を発揮します。MiniCPM-Llama3-V 2.5の人気機能をさらに進化させ、iPadでのリアルタイムビデオ理解をサポートしています。
• [2024.05.20] 🔥 GPT-4VレベルのマルチモーダルモデルMiniCPM-Llama3-V 2.5がリリースされました。
• [2024.04.11] 🔥 MiniCPM-V 2.0がリリースされました。

特徴

• ⚡️ 高効率性

  MiniCPM-Vは、ほとんどのGPUカードやパーソナルコンピューターで効率的にデプロイでき、携帯電話などのエンドデバイスでも動作します。視覚エンコーディングにおいて、パーシーバーリサンプラーを介して画像表現を64トークンに圧縮します。これは、MLPアーキテクチャに基づく他のLMM（通常は> 512トークン）よりも大幅に少なく、推論時にメモリコストを大幅に削減し、高速動作を実現します。

• 🔥 有望な性能

  MiniCPM-Vは、複数のベンチマーク（MMMU、MME、MMbechなど）で最先端の性能を達成しており、同等サイズのモデルの中でPhi-2をベースにした既存のLMMを上回ります。さらに、9.6BのQwen-VL-Chatと同等またはそれ以上の性能を発揮します。

• 🙌 バイリンガル対応

  MiniCPM-Vは、英語と中国語のバイリンガルマルチモーダルインタラクションをサポートする最初のエンドデプロイ可能なLMMです。これは、ICLR 2024 spotlightの論文にある言語間でのマルチモーダル機能の一般化技術によって実現されています。

評価

例

🚀 クイックスタート

デモ

MiniCPM-Vのデモを試すにはここをクリックしてください。

携帯電話へのデプロイ

現在、MiniCPM-V（OmniLMM-3B）は、AndroidおよびHarmonyオペレーティングシステムを搭載した携帯電話にデプロイできます。🚀 こちらで試してみてください。

使用方法

Nivdia GPUまたはMPSをサポートするMac（AppleシリコンまたはAMD GPU）でHuggingface transformersを使用して推論を行います。Python 3.10でテストされた要件は以下の通りです。

Pillow==10.1.0
timm==0.9.10
torch==2.1.2
torchvision==0.16.2
transformers==4.36.0
sentencepiece==0.1.99

# test.py
import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained('openbmb/MiniCPM-V', trust_remote_code=True, torch_dtype=torch.bfloat16)
# For Nvidia GPUs support BF16 (like A100, H100, RTX3090)
model = model.to(device='cuda', dtype=torch.bfloat16)
# For Nvidia GPUs do NOT support BF16 (like V100, T4, RTX2080)
#model = model.to(device='cuda', dtype=torch.float16)
# For Mac with MPS (Apple silicon or AMD GPUs).
# Run with `PYTORCH_ENABLE_MPS_FALLBACK=1 python test.py`
#model = model.to(device='mps', dtype=torch.float16)

tokenizer = AutoTokenizer.from_pretrained('openbmb/MiniCPM-V', trust_remote_code=True)
model.eval()

image = Image.open('xx.jpg').convert('RGB')
question = 'What is in the image?'
msgs = [{'role': 'user', 'content': question}]

res, context, _ = model.chat(
    image=image,
    msgs=msgs,
    context=None,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.7
)
print(res)

使用方法の詳細については、GitHubを参照してください。

📄 ライセンス

モデルライセンス

• このリポジトリのコードは、Apache-2.0ライセンスの下で公開されています。
• MiniCPM-Vシリーズのモデルウェイトの使用は、MiniCPM Model License.mdに厳密に従う必要があります。
• MiniCPMのモデルとウェイトは、学術研究には完全に無料で利用できます。また、"アンケート"に記入して登録することで、商用利用も無料で可能です。

声明

• LLMとして、MiniCPM-Vは大量のテキストを学習することで内容を生成しますが、理解や個人的な意見の表現、価値判断を行うことはできません。MiniCPM-Vによって生成される内容は、モデル開発者の意見や立場を代表するものではありません。
• MiniCPM-Vオープンソースモデルの使用によって生じる問題（データセキュリティ問題、世論リスク、またはモデルの誤った誘導、誤用、拡散、悪用によって生じるすべてのリスクや問題を含む）について、当社は一切の責任を負いません。