# クロスモーダル検索

MetaCLIPはCommonCrawl(CC)の25億データポイントで訓練された視覚-言語モデルで、画像-テキスト共有埋め込み空間を構築します。

OpenVisionは、完全にオープンでコスト効率の高い高度なビジョンエンコーダのファミリーで、マルチモーダル学習に使用されます。

OpenVisionは完全オープンで高コストパフォーマンスな先進的な視覚エンコーダーファミリーで、マルチモーダル学習に焦点を当てています。

OpenVisionは完全にオープンでコストパフォーマンスに優れた先進的な視覚エンコーダーファミリーで、マルチモーダル学習に焦点を当てています。

UniMEはマルチモーダル大規模モデルに基づく汎用埋め込み学習フレームワークで、テキスト識別知識蒸留とハードネガティブサンプル増強の指示チューニング戦略により、マルチモーダル埋め込み能力を大幅に向上させています。

UniMEはマルチモーダル大規模モデルに基づく汎用埋め込み学習モデルで、336×336の画像解像度でトレーニングされ、MMEBランキングで1位を獲得しています。

SigLIP 2を微調整した視覚言語モデルで、最大テキスト長を64から256トークンに拡張

Qwen2.5-Omni-7Bをベースに構築されたマルチモーダル埋め込みモデルで、多言語テキスト、画像、音声、動画の統一された埋め込み表現をサポート

mmE5はLlama-3.2-11B-Visionでトレーニングされたマルチモーダル多言語埋め込みモデルで、高品質な合成データにより埋め込み性能を向上させ、MMEBベンチマークで最先端のレベルを達成しました。

ConceptCLIPは医学的概念を強化した大規模視覚言語事前学習モデルで、様々な医療画像モダリティに対応し、多様な医療画像タスクで堅牢な性能を発揮します。

MEXMA-SigLIPは多言語テキストエンコーダーと画像エンコーダーを組み合わせた高性能CLIPモデルで、80言語をサポートしています。

LLM2CLIPは、大規模言語モデル（LLM）を活用してCLIPの潜在能力を解放する革新的な手法で、対照学習フレームワークを通じてテキスト識別性を向上させ、元のCLIPテキストエンコーダーの制限を突破します。

LLM2CLIPは革新的な手法で、大規模言語モデルによってCLIPのクロスモーダル能力を強化し、視覚とテキスト表現の識別力を大幅に向上させます。

LLM2CLIPは大規模言語モデル（LLM）を活用してCLIPの能力を拡張する革新的な手法で、対照学習フレームワークを通じてテキストの識別性を向上させ、クロスモーダルタスクの性能を大幅に向上させます。

LLM2CLIPは革新的な手法で、大規模言語モデル(LLM)を用いてCLIPの視覚表現能力を強化し、クロスモーダルタスクの性能を大幅に向上させます

リモートセンシング分野向けの多言語視覚-言語事前学習モデル、10言語の画像-テキストクロスモーダルタスクをサポート

E5-Vはマルチモーダル大規模言語モデルに基づく汎用埋め込み手法で、テキストと画像の入力を処理し統一された埋め込み表現を生成できます。

Safe-CLIPはCLIPモデルをベースにした強化型の視覚と言語モデルで、AIアプリケーションにおけるNSFW（職場に不適切な）コンテンツに関連するリスクを低減することを目的としています。

Vision Transformerアーキテクチャに基づく大規模視覚言語モデルで、画像とテキストのクロスモーダル理解をサポート

高性能視覚埋め込みモデル、nomic-embed-text-v1.5と同一の埋め込み空間を共有し、マルチモーダルアプリケーションをサポート

高性能ビジョン埋め込みモデル、nomic-embed-text-v1と同じ埋め込み空間を共有し、マルチモーダルアプリケーションをサポート

CLIP ViT-B/32アーキテクチャに基づくONNX移植版で、画像分類と類似性検索タスクに適しています。

M3D-CLIPは3D医用画像専用に設計されたCLIPモデルで、コントラスト損失により視覚と言語のアラインメントを実現します。

BLaIRはAmazonレビュー2023データセットで事前学習された言語モデルで、レコメンデーションと検索シーンに特化しており、強力な商品テキスト表現を生成し、関連商品を予測できます。

NLLB-SigLIP-MRLは、NLLBモデルのテキストエンコーダとSigLIPモデルの画像エンコーダを組み合わせた多言語ビジュアル言語モデルで、Flores-200の201言語をサポートします。

NLLBテキストエンコーダーとSigLIP画像エンコーダーを組み合わせた多言語視覚言語モデルで、201言語と複数の埋め込み次元をサポート

OWLv2は視覚言語事前学習に基づくモデルで、物体検出と位置特定タスクに特化しています。

OWL-ViTは視覚Transformerベースのオープン語彙物体検出モデルで、訓練データに存在しないカテゴリの物体を画像から検出可能です。

InternVL-14B-224px は14Bパラメータの視覚言語基盤モデルで、様々な視覚言語タスクをサポートします。

LanguageBindは、言語を通じてマルチモーダルの意味的アラインメントを実現する事前学習モデルで、ビデオ、オーディオ、深度、サーモグラフィーなどの様々なモダリティと言語をバインドし、クロスモーダルの理解と検索を可能にします。

ViLTアーキテクチャに基づく視覚言語モデルで、特定タスク向けにファインチューニング済み

LanguageBindは、言語を異なるモーダル間の結びつきとして、意味論的アラインメントを実現する言語中心のマルチモーダル事前学習手法です。

LanguageBindは、言語ベースのセマンティックアラインメントを通じてビデオ-言語事前学習をNモーダルに拡張するマルチモーダルモデルで、ICLR 2024に採択されました。

NLLB-CLIP-SigLIPは、NLLBモデルのテキストエンコーダとSigLIPモデルの画像エンコーダを組み合わせた多言語視覚言語モデルで、201言語をサポートしています。

NLLB-CLIP-SigLIPは、NLLBモデルのテキストエンコーダーとSigLIPモデルの画像エンコーダーを組み合わせた多言語視覚言語モデルで、201言語をサポートしています。

X-CLIPはCLIPのミニマルな拡張で、一般的なビデオと言語の理解のために、ビデオとテキストのマッチング関係を対照学習でトレーニングします。

MetaCLIPはCommonCrawlデータでトレーニングされた視覚-言語モデルで、画像とテキストの共有埋め込み空間を構築します。

MetaCLIPはCommonCrawl(CC)25億データポイントでトレーニングされた大規模視覚-言語モデルで、CLIPのデータ選別方法を解明

MetaCLIPはCommonCrawlデータで訓練された視覚-言語モデルで、画像-テキスト共有埋め込み空間を構築するために使用されます

MetaCLIPはCommonCrawlデータに適用されるCLIPフレームワークの実装で、CLIP訓練データの選択方法を明らかにすることを目的としています。