# 多模態嵌入

UniME 是一個基於多模態大模型的通用嵌入學習模型，專注於打破模態壁壘，實現跨模態檢索和嵌入學習。

基於SigLIP 2微調的視覺語言模型，最大文本長度從64提升至256標記

基於Qwen2.5-Omni-7B構建的多模態嵌入模型，支持跨語言文本、圖像、音頻和視頻的統一嵌入表示

Nomic Embed Multimodal 3B是一款頂尖的多模態嵌入模型，專注於視覺文檔檢索任務，支持統一文本-圖像編碼，在Vidore-v2測試中達到58.8 NDCG@5的卓越性能。

ColNomic Embed多模態3B是一款30億參數的多模態嵌入模型，專為視覺文檔檢索任務設計，支持多語言文本和圖像的統一編碼。

首個專為金融時間序列預測設計的檢索器，基於檢索增強生成（RAG）框架

基於BAAI/bge-m3模型在泰語法律查詢數據上微調的版本，支持稠密檢索、詞法匹配和多向量交互

LLaVE-7B是基於LLaVA-OneVision-7B模型的70億參數多模態嵌入模型，具備文本、圖像、多圖像和視頻的嵌入表示能力。

LLaVE-2B是基於Aquila-VL-2B模型的20億參數多模態嵌入模型，具有4K tokens的上下文窗口，支持文本、圖像、多圖像和視頻的嵌入表示。

LLaVE是基於LLaVA-OneVision-0.5B模型的多模態嵌入模型，參數規模為0.5B，能夠對文本、圖像、多圖像和視頻進行嵌入。

基於SigLIP架構的視覺Transformer模型，僅包含圖像編碼器部分，採用原始注意力池化機制

TaxaBind 是一個包含六種模態的多模態嵌入空間模型，專注於生態應用，支持利用分類學文本類別對物種圖像進行零樣本分類。

DSE-QWen2-2b-MRL-V1 是一個雙編碼器模型，專為將文檔截圖編碼為密集向量以實現文檔檢索而設計。

bge-m3嵌入模型的GGUF量化版本，適用於高效的文本嵌入任務

E5-V是基於多模態大語言模型的通用嵌入方法，能夠處理文本和圖像輸入並生成統一的嵌入表示。

高性能視覺嵌入模型，與nomic-embed-text-v1.5共享相同的嵌入空間，支持多模態應用

高性能視覺嵌入模型，與nomic-embed-text-v1共享相同的嵌入空間，支持多模態應用

BGE-M3是一個支持稠密檢索、詞彙匹配和多向量交互的嵌入模型，已轉換為ONNX格式以便兼容ONNX Runtime等框架。

SigLIP是一種基於視覺-語言預訓練的模型，適用於零樣本圖像分類任務。

OpenAI開源的CLIP模型，基於Vision Transformer架構，支持圖像與文本的跨模態理解

中文CLIP的基礎版本，採用ViT-B/16作為圖像編碼器，RoBERTa-wwm-base作為文本編碼器，在約2億中文圖文對的大規模數據集上訓練。