# マルチモーダル埋め込み

UniMEはマルチモーダル大規模モデルに基づく汎用埋め込み学習モデルで、モーダルの壁を打破し、クロスモーダル検索と埋め込み学習を実現することに焦点を当てています。

SigLIP 2を微調整した視覚言語モデルで、最大テキスト長を64から256トークンに拡張

Qwen2.5-Omni-7Bをベースに構築されたマルチモーダル埋め込みモデルで、多言語テキスト、画像、音声、動画の統一された埋め込み表現をサポート

Nomic Embed Multimodal 3Bは最先端のマルチモーダル埋め込みモデルで、視覚文書検索タスクに特化しており、統一テキスト-画像エンコーディングをサポートし、Vidore-v2テストで58.8 NDCG@5という卓越した性能を達成しました。

ColNomic Embedマルチモーダル3Bは30億パラメータのマルチモーダル埋め込みモデルで、視覚文書検索タスク向けに設計されており、多言語テキストと画像の統一エンコーディングをサポートします。

金融時系列予測専用に設計された初の検索器、検索拡張生成（RAG）フレームワークに基づく

BAAI/bge-m3モデルをタイ語法律クエリデータでファインチューニングしたバージョンで、密検索、語彙マッチング、マルチベクトル相互作用をサポート

LLaVE-7BはLLaVA-OneVision-7Bモデルを基にした70億パラメータのマルチモーダル埋め込みモデルで、テキスト、画像、複数画像、動画の埋め込み表現能力を備えています。

LLaVE-2BはAquila-VL-2Bモデルを基にした20億パラメータのマルチモーダル埋め込みモデルで、4Kトークンのコンテキストウィンドウを持ち、テキスト、画像、複数画像、動画の埋め込み表現をサポートします。

LLaVEはLLaVA-OneVision-0.5Bモデルを基にしたマルチモーダル埋め込みモデルで、パラメータ規模は0.5B、テキスト、画像、複数画像、動画の埋め込みが可能です。

SigLIPアーキテクチャに基づく視覚Transformerモデル、画像エンコーダ部分のみを含み、オリジナルのアテンションプーリングメカニズムを採用

TaxaBindは6つのモダリティを含むマルチモーダル埋め込み空間モデルで、生態系アプリケーションに焦点を当て、分類学テキストカテゴリを使用して種の画像をゼロショット分類することをサポートします。

DSE-QWen2-2b-MRL-V1 は、文書スクリーンショットを密なベクトルにエンコードして文書検索を実現するために設計されたデュアルエンコーダーモデルです。

bge-m3埋め込みモデルのGGUF量子化バージョン、効率的なテキスト埋め込みタスクに適しています

E5-Vはマルチモーダル大規模言語モデルに基づく汎用埋め込み手法で、テキストと画像の入力を処理し統一された埋め込み表現を生成できます。

高性能視覚埋め込みモデル、nomic-embed-text-v1.5と同一の埋め込み空間を共有し、マルチモーダルアプリケーションをサポート

高性能ビジョン埋め込みモデル、nomic-embed-text-v1と同じ埋め込み空間を共有し、マルチモーダルアプリケーションをサポート

BGE-M3は密検索、語彙マッチング、マルチベクトル相互作用をサポートする埋め込みモデルで、ONNX Runtimeなどのフレームワークとの互換性のためにONNX形式に変換されています。

SigLIPは視覚と言語の事前学習に基づくモデルで、ゼロショット画像分類タスクに適しています。

OpenAIがオープンソース化したCLIPモデル、Vision Transformerアーキテクチャに基づき、画像とテキストのクロスモーダル理解をサポート

中国語CLIPの基本バージョンで、ViT-B/16を画像エンコーダー、RoBERTa-wwm-baseをテキストエンコーダーとして使用し、約2億組の中国語画像テキストペアの大規模データセットでトレーニングされています。