# マルチモーダルインタラクション

Moondreamは軽量級のビジュアル言語モデルで、効率的な全プラットフォーム実行のために設計されています。2025年4月14日にリリースされた4ビット量子化版は、高い精度を維持しながらメモリ使用量を大幅に削減しました。

AgentCPM-GUIはRFT強化推論能力を備えたデバイスサイドのグラフィカルインターフェースエージェントで、中国語と英語のアプリを操作可能、80億パラメータのMiniCPM-Vを基に構築されています。

UI-TARS-1.5-7B-4bitはマルチモーダルモデルで、画像テキストからテキストへの変換タスクに特化しており、英語をサポートしています。

これはGoogle Gemma 3-12Bモデルを変換したMLX形式のモデルで、画像テキストからテキストへのタスクをサポートします。

VideoChat-R1-thinking_7B は Qwen2.5-VL-7B-Instruct をベースにしたマルチモーダルモデルで、動画テキストからテキストへの変換タスクに特化しています。

『マインクラフト』専用に設計された視覚-言語-動作モデルで、人間の言語コマンドに基づいてゲーム内の数千のスキルを実行可能

UI-R1は強化学習によって強化されたGUIエージェントの動作予測を行う視覚言語モデルで、Qwen2.5-VL-3B-Instructを基に構築されています。

Vambaは混合Mamba-Transformerアーキテクチャで、クロスアテンション層とMamba-2モジュールにより効率的な長尺動画理解を実現します。

VideoChat-OnlineはPhi-3-vision-128k-instructを基にしたオンライン動画理解モデルで、動画テキストからテキストへの変換タスクに特化しています。

これはMLX形式の動画テキスト変換モデルで、HuggingFaceTBによって開発され、英語の言語処理をサポートしています。

UltravoxはLlama3.1-8B-Instructとwhisper-large-v3-turboを基に構築されたマルチモーダル音声大規模言語モデルで、音声とテキスト入力を同時に処理できます。

Fluxi AIはQwen2-VL-7B-InstructをベースにしたマルチモーダルAIアシスタントで、テキスト、画像、動画処理能力を備え、特にポルトガル語サポートを最適化しています。

UGroundは強力なGUIビジュアル定位モデルで、簡単な方法で訓練され、OSUNLPとOrby AIが共同で開発しました。

UGroundはシンプルなレシピでトレーニングされた強力なGUIビジュアルポジショニングモデルで、OSU NLP GroupとOrby AIの協力により完成しました。

HuggingFaceTB/SmolVLM-Instructを基に微調整されたインテリジェントな視覚言語モデルで、UnslothとTRLライブラリを使用してトレーニング速度を最適化

Dallahはアラビア語向けに特別設計された先進的なマルチモーダル大規模言語モデルで、特にアラビア方言間のコンテンツ理解と生成に重点を置いています。

OMEGA LabsとBittensorが共同開発したAny-to-Anyサブネットモデルで、複数のタスク変換をサポート

Mini-Omni2は全インタラクティブなマルチモーダルモデルで、画像、音声、テキスト入力を理解し、ユーザーとエンドツーエンドの音声対話が可能です。

SAM 2はFAIRによって開発された、画像およびビデオのプロンプトに対応したビジュアルセグメンテーションの基礎モデルで、プロンプトによる効率的なセグメンテーションをサポートします。

SAM 2はFAIRが開発した、画像とビデオの視覚セグメンテーションをプロンプトで行うための基礎モデルで、プロンプトによる効率的なセグメンテーションをサポートします。

SAM 2はFAIRが開発した、画像とビデオに対応したプロンプト可能な視覚セグメンテーションの基礎モデルで、プロンプトによる汎用セグメンテーションタスクをサポートします。

LLaVA-ビデオモデルはQwen2言語モデルをベースとした7Bパラメータのマルチモーダルモデルで、ビデオ理解タスクに特化しており、64フレームのビデオ入力をサポートします。

xGen-MMはSalesforce AI Researchが開発した最新の基礎大規模マルチモーダルモデル（LMMs）シリーズで、BLIPシリーズの成功した設計を基に改良され、基礎的な強化によりより強力で優れたモデル基盤を確保しています。

FAIRが開発した基本モデルで、画像と動画におけるプロンプト可能な視覚セグメンテーションタスクを解決

SAM 2はFAIRが開発した画像とビデオ向けのプロンプト可能な視覚セグメンテーションの基礎モデルで、効率的なセグメンテーションをサポートします。

FAIRが開発した画像とビデオ向けのプロンプト可能な視覚セグメンテーションの基礎モデル

UGroundは簡潔なレシピでトレーニングされた強力なGUI視覚位置特定モデルで、オハイオ州立大学NLPグループとOrby AIの協力により完成しました。

InternVideo2-Chat-8Bは大規模言語モデル(LLM)と動画BLIPを統合した動画理解モデルで、段階的学習スキームにより構築され、動画の意味理解と人間とのインタラクションが可能です。

LLaVA-MOREはLLaVAアーキテクチャを基にした拡張版で、LLaMA 3.1を言語モデルとして統合し、画像からテキストへのタスクに特化しています。

Llama 3 8Bモデルを基にしたAIロールプレイングアシスタントで、没入型の物語体験を提供

Llama 3 8Bモデルを基にしたAIロールプレイングアシスタント、インタラクティブなナラティブ体験の構築に特化

視覚と言語能力を結合したマルチモーダルモデルで、マージ手法により画像とテキストのインタラクション機能を実現します。

InstructBLIPはBLIP-2の視覚的指示チューニングバージョンで、視覚と言語処理能力を組み合わせ、画像とテキスト指示に基づいて応答を生成できます。

InstructBLIPはBLIP-2をベースにした視覚的指示チューニングモデルで、Flan-T5-xlを言語モデルとして使用し、画像とテキスト指示に基づいて説明を生成できます。

InstructBLIPはBLIP-2の視覚的指示チューニングバージョンで、視覚と言語モデルを組み合わせ、画像とテキスト指示に基づいて説明を生成したり質問に答えたりできます。

IDEFICS-9Bは90億パラメータのマルチモーダルモデルで、画像とテキスト入力を処理しテキスト出力を生成できます。DeepmindのFlamingoモデルのオープンソース再現版です。