# 多模態交互

Moondream是一款輕量級視覺語言模型，專為高效全平臺運行而設計。2025年4月14日發佈的4比特量化版在保持高精度的同時大幅降低內存佔用。

AgentCPM-GUI是一款具備RFT增強推理能力的設備端圖形界面代理，可操作中英文應用，基於80億參數的MiniCPM-V構建。

UI-TARS-1.5-7B-4bit是一個多模態模型，專注於圖像文本到文本的轉換任務，支持英文語言。

這是一個基於 Google Gemma 3-12B 模型轉換而來的 MLX 格式模型，支持圖像文本到文本的任務。

VideoChat-R1-thinking_7B 是一個基於 Qwen2.5-VL-7B-Instruct 的多模態模型，專注於視頻文本轉文本任務。

專為《我的世界》設計的視覺-語言-動作模型，支持基於人類語言指令執行遊戲內數千種技能

UI-R1是通過強化學習增強GUI代理動作預測的視覺語言模型，基於Qwen2.5-VL-3B-Instruct構建。

Vamba是一種混合Mamba-Transformer架構，通過交叉注意力層與Mamba-2模塊實現高效的長視頻理解。

VideoChat-Online是一個基於Phi-3-vision-128k-instruct的在線視頻理解模型，專注於視頻文本轉文本任務。

這是一個基於MLX格式的視頻文本轉文本模型，由HuggingFaceTB開發，支持英文語言處理。

Ultravox是一款基於Llama3.1-8B-Instruct和whisper-large-v3-turbo構建的多模態語音大語言模型，能夠同時處理語音和文本輸入。

Fluxi AI 是一款基於 Qwen2-VL-7B-Instruct 的多模態智能助手，具備文本、圖像和視頻處理能力，特別優化了葡萄牙語支持。

UGround是一個強大的GUI視覺定位模型，採用簡單的方法進行訓練，由OSUNLP和Orby AI合作完成。

UGround是一款採用簡單配方訓練的強大GUI視覺定位模型，由OSU NLP Group與Orby AI合作完成。

基於HuggingFaceTB/SmolVLM-Instruct微調的智能視覺語言模型，採用Unsloth和TRL庫優化訓練速度

Dallah是一款專為阿拉伯語設計的先進多模態大語言模型，特別注重理解與生成跨阿拉伯方言的內容。

由 OMEGA Labs 和 Bittensor 合作開發的 Any-to-Any 子網模型，支持多種任務轉換

Mini-Omni2是一款全交互式多模態模型，能理解圖像、音頻和文本輸入，並與用戶進行端到端的語音對話。

SAM 2是由FAIR研發的面向圖像和視頻可提示視覺分割的基礎模型，支持通過提示進行高效分割。

SAM 2是FAIR研發的面向圖像與視頻可提示視覺分割的基礎模型，支持通過提示進行高效分割。

SAM 2是FAIR研發的面向圖像與視頻可提示視覺分割的基礎模型，支持通過提示進行通用分割任務。

LLaVA-視頻模型是基於Qwen2語言模型的7B參數多模態模型，專注於視頻理解任務，支持64幀視頻輸入。

xGen-MM是Salesforce AI Research開發的一系列最新基礎大型多模態模型（LMMs），在BLIP系列成功設計的基礎上進行了改進，通過基礎性增強確保了更強大和卓越的模型基礎。

FAIR研發的基礎模型，用於解決圖像和視頻中可提示視覺分割任務

SAM 2是FAIR研發的面向圖像和視頻可提示視覺分割的基礎模型，支持通過提示進行高效分割。

FAIR研發的面向圖像與視頻可提示視覺分割的基礎模型

UGround是通過簡潔配方訓練的強力GUI視覺定位模型，由俄亥俄州立大學NLP組與Orby AI合作完成。

InternVideo2-Chat-8B是一個結合大型語言模型(LLM)和視頻BLIP的視頻理解模型，通過漸進式學習方案構建，能夠進行視頻語義理解和人機交互。

LLaVA-MORE是基於LLaVA架構的增強版本，集成了LLaMA 3.1作為語言模型，專注於圖像到文本的任務。

基於Llama 3 8B模型的AI角色扮演助手，專注於打造沉浸式敘事體驗

基於Llama 3 8B模型的AI角色扮演助手，專注於打造互動敘事體驗

一個結合視覺與語言能力的多模態模型，通過合併方法實現圖像與文本交互功能

InstructBLIP是基於BLIP-2的視覺指令調優版本，結合視覺和語言處理能力，能夠根據圖像和文本指令生成響應。

InstructBLIP是基於BLIP-2的視覺指令調優模型，使用Flan-T5-xl作為語言模型，能夠根據圖像和文本指令生成描述。

InstructBLIP是BLIP-2的視覺指令調優版本，結合了視覺和語言模型，能夠根據圖像和文本指令生成描述或回答問題。

IDEFICS-9B是一個90億參數的多模態模型，能夠處理圖像和文本輸入並生成文本輸出，是Deepmind Flamingo模型的開源復現版本。