2025年最高の 161 個のマルチモーダル融合ツール

CodeBERTはプログラミング言語と自然言語向けの事前学習モデルで、RoBERTaアーキテクチャに基づいており、コード検索やコードからドキュメント生成などの機能をサポートします。

Llama 4 ScoutはMetaが開発したマルチモーダルAIモデルで、混合専門家アーキテクチャを採用し、12言語のテキストと画像インタラクションをサポート、17Bの活性化パラメータと109Bの総パラメータを有します。

UniXcoderは統一されたマルチモーダル事前学習モデルで、コードコメントや抽象構文木などのマルチモーダルデータを使用してコード表現を事前学習します。

TITANは、病理学画像分析のための視覚的自己教師あり学習と視覚-言語アライメントによるマルチモーダル全スライド基礎モデルです。

Qwen2.5-Omniはエンドツーエンドのマルチモーダルモデルで、テキスト、画像、音声、ビデオなど様々なモダリティを認識し、ストリーミング方式でテキストや自然な音声レスポンスを生成できます。

MiniCPM-o 2.6はスマートフォンで動作するGPT-4oレベルのマルチモーダル大規模モデルで、視覚、音声、ライブストリーム処理をサポート

Llama 4 ScoutはMetaが開発した17Bパラメータ/16エキスパート混合のマルチモーダルAIモデルで、12言語と画像理解をサポートし、業界をリードする性能を有しています。

Qwen2.5-Omniはエンドツーエンドのマルチモーダルモデルで、テキスト、画像、音声、ビデオなど様々なモダリティ情報を認識し、ストリーミング方式でテキストと自然な音声応答を同期生成できます。

Q-Alignはマルチタスク視覚評価モデルで、画像品質評価(IQA)、美的評価(IAA)、動画品質評価(VQA)に特化しており、ICML2024で発表されました。

BioViL-Tは胸部X線画像と放射線レポートの分析に特化した視覚言語モデルで、時系列マルチモーダル事前学習により性能を向上させています。

MetaカメレオンはFAIRが開発した混合モーダル早期融合基盤モデルで、画像とテキストのマルチモーダル処理をサポートします。

LLM2CLIPは革新的な手法で、大規模言語モデルによってCLIPのクロスモーダル能力を強化し、視覚とテキスト表現の識別力を大幅に向上させます。

UniXcoderは、コードコメントや抽象構文木などのマルチモーダルデータを活用してコード表現を事前学習する統一マルチモーダル事前学習モデルです。

Llama Guard 4はネイティブマルチモーダルセキュリティ分類器で、120億のパラメータを持ち、テキストと複数画像を連携してトレーニングされ、大規模言語モデルの入力と出力のコンテンツセキュリティ評価に使用されます。

SpatialVLAは110万の実ロボット操作シーンで訓練された空間拡張視覚言語動作モデルで、ロボット制御タスクに特化しています

Pi0は汎用ロボット制御のための視覚-言語-動作フローモデルで、ロボット制御タスクをサポートします。

ColNomic Embed Multimodal 7Bは、マルチベクトルの最先端マルチモーダル埋め込みモデルで、視覚文書検索タスクに優れ、多言語対応と統一テキスト画像エンコーディングをサポートします。

ラマ4スカウトはMetaが発表した170億パラメータの混合エキスパートモデル(MoE)で、多言語テキストと画像理解をサポートし、PEFT/LoRA互換性を考慮した線形化エキスパートモジュール設計を採用しています。

CogACTは、ロボット操作タスクのための視覚言語モデルと専用動作モジュールを組み合わせた新しい視覚言語動作(VLA)アーキテクチャです。

Llama 4シリーズのネイティブマルチモーダルAIモデルで、テキストと画像の理解をサポートし、混合エキスパートアーキテクチャを採用し、商業および研究シーンに適しています。

ColNomic Embedマルチモーダル3Bは30億パラメータのマルチモーダル埋め込みモデルで、視覚文書検索タスク向けに設計されており、多言語テキストと画像の統一エンコーディングをサポートします。

Llama-3.2-11Bをファインチューニングしたマルチモーダルコンテンツセキュリティ分類器で、テキストと画像の混合有害コンテンツ検出に最適化

DSE-QWen2-2b-MRL-V1 は、文書スクリーンショットを密なベクトルにエンコードして文書検索を実現するために設計されたデュアルエンコーダーモデルです。

PyTorchとHuggingfaceフレームワークで実装されたBiomedCLIPモデルで、オリジナルのmicrosoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224モデルを再現

軽量級の統一多モーダリティモデルで、画像、テキスト、音声、ビデオなどの多様なモーダリティデータを効率的に処理し、音声と画像生成において優れた性能を発揮します。

Qwen2.5-Omni-7Bモデルをベースとした4ビットGPTQ量子化バージョンで、多言語およびマルチモーダルタスクをサポートします。

TaxaBindは6つのモダリティを含むマルチモーダル埋め込み空間モデルで、生態系アプリケーションに焦点を当て、分類学テキストカテゴリを使用して種の画像をゼロショット分類することをサポートします。

NVIDIA Isaac GR00T N1は、汎用ヒューマノイドロボットの推論とスキル向けの世界初のオープンソース基盤モデルで、20億パラメータ規模を有しています。

Hume-System2は、デュアルシステムのビジョン - 言語 - 行動（VLA）モデルのシステム2の事前学習重みで、システム2の学習を高速化し、ロボット分野の関連研究やアプリケーションにサポートを提供します。

LLaVEはLLaVA-OneVision-0.5Bモデルを基にしたマルチモーダル埋め込みモデルで、パラメータ規模は0.5B、テキスト、画像、複数画像、動画の埋め込みが可能です。

Hume-Libero_Objectは、Libero-Objectデータセットで訓練されたデュアルシステム視覚-言語-動作モデルで、システム2の思考能力を備え、ロボット分野の研究と応用に適しています。

Hume-Libero_Goalは、デュアルシステム思考に基づくビジョン - 言語 - アクションモデルで、ロボットタスク用に設計され、System - 2思考を融合して決定能力を向上させています。

100万以上のマルチロボット操作データで事前学習された10億パラメータの模倣学習拡散Transformerモデルで、マルチビュー視覚言語動作予測をサポート

OpenVLA - OFTは最適化された視覚 - 言語 - 動作モデルで、微調整技術により基礎となるOpenVLAモデルの実行速度とタスク成功率を大幅に向上させています。

Llama 4 ScoutはMetaが開発したマルチモーダル混合専門家モデルで、12言語と画像理解をサポートし、170億の活性化パラメータと10Mのコンテキスト長を備えています。

Qwen2.5-Omni-7Bをベースに構築されたマルチモーダル埋め込みモデルで、多言語テキスト、画像、音声、動画の統一された埋め込み表現をサポート

Llama 4 MaverickはMetaが開発したネイティブマルチモーダルAIモデルで、ハイブリッドエキスパートアーキテクチャを採用し、テキストと画像の入力をサポートし、多言語のテキストとコードを出力します。

Llama 4 ScoutはMetaが発表した170億パラメータの混合エキスパートアーキテクチャを採用したマルチモーダルモデルで、12言語と画像理解をサポート

Llama 4シリーズはMetaが開発したネイティブマルチモーダルAIモデルで、ハイブリッドエキスパートアーキテクチャを採用し、テキストと画像のインタラクションをサポートし、様々な言語とビジュアルタスクで卓越した性能を発揮します。

Llama 4シリーズはMetaが開発したネイティブマルチモーダルAIモデルで、テキストと画像のインタラクションをサポートし、ハイブリッドエキスパートアーキテクチャを採用しており、テキストと画像の理解において卓越した性能を発揮します。

鷹（Eagle）は、ビジュアルを中心とした一連の高解像度マルチモーダル大規模言語モデルで、1Kを超える入力解像度をサポートし、光学文字認識や文書理解などのタスクで優れた性能を発揮します。

Llama-3.2-11Bに基づくマルチモーダルコンテンツセキュリティ分類モデルで、有害なテキスト/画像入力および応答の検出をサポートします。