# 多模態對齊

基於CLIP-ViT-B/32微調的視覺語言模型，適用於圖像-文本匹配任務

赫爾墨斯流是一個通用的多模態大語言模型對齊框架，能夠自主生成同源偏好數據，並通過自我博弈迭代優化與配對DPO技術，無縫彌合多模態理解與生成的鴻溝。

基於ResNet50架構的CLIP模型圖像編碼器，具有64倍寬度擴展，使用全局平均池化(GAP)策略

基於CLIP框架的ResNet50x16變體模型，專注於圖像特徵提取

基於CLIP架構的ViT-Huge圖像編碼器，由蘋果公司發佈的DFN5B-CLIP模型，適用於視覺特徵提取任務。

基於SigLIP的視覺Transformer模型，僅包含圖像編碼器部分，採用原始注意力池化機制

這是一個強大的文本-圖像交錯輸入輸出模型，通過對齊萬物算法進行了深度對齊，提升了圖像生成能力和人類偏好對齊能力。

HPT是一種將不同實體對齊到共享潛在空間的變換器模型，專注於策略學習中的擴展行為研究。

OWL-ViT 是一個基於視覺Transformer的開放詞彙目標檢測模型，能夠檢測圖像中未在訓練集中出現的類別。

LanguageBind 是一種通過語言實現多模態語義對齊的預訓練模型，能夠將視頻、音頻、深度、熱成像等多種模態與語言進行綁定，實現跨模態的理解和檢索。

LanguageBind是一種以語言為中心的多模態預訓練方法，通過語言作為不同模態間的紐帶實現語義對齊。

LanguageBind是一種以語言為中心的多模態預訓練方法，通過語言作為不同模態之間的紐帶，實現視頻、紅外、深度、音頻等多種模態的語義對齊。

LanguageBind是一種通過基於語言的語義對齊將視頻-語言預訓練擴展至N模態的多模態模型，獲得了ICLR 2024的接收。

LanguageBind是一種以語言為中心的多模態預訓練方法，通過語言作為不同模態之間的紐帶，實現語義對齊。

LanguageBind是一種以語言為中心的多模態預訓練方法，通過語言作為不同模態之間的紐帶，實現視頻、紅外、深度、音頻等多種模態的語義對齊。

LanguageBind是一種通過語言語義對齊將視頻-語言預訓練擴展至N模態的多模態預訓練框架，被ICLR 2024收錄。

LanguageBind 是一種以語言為中心的多模態預訓練方法，通過語言語義對齊將視頻-語言預訓練擴展至N模態，實現了高性能的多模態理解與對齊。

LanguageBind是一個通過語言作為紐帶實現多模態語義對齊的預訓練框架，支持視頻、紅外、深度、音頻等多種模態與語言的聯合學習。

TinySapBERT是一個基於SapBERT框架訓練的微型生物醫學實體表示模型，專為生物醫學命名實體識別任務設計。

基於dbmdz/distilbert-base-turkish-cased微調的土耳其語文本編碼器，用於與CLIP的ViT-B/32圖像編碼器配合使用