# 視覺語言理解

基於BLIP架構微調的阿拉伯語圖像字幕生成模型，專門針對Flickr8k阿拉伯語數據集優化

Skywork-VL-Reward-7B是一個7B參數的多模態獎勵模型，基於Qwen2.5-VL-7B-Instruct架構，增加了用於訓練獎勵模型的價值頭結構。

天工-R1V2-38B是當前最先進的開源多模態推理模型，在多項基準測試中表現卓越，具備強大的視覺推理與文本理解能力。

EMOVA是一種端到端全能模態大語言模型，支持視覺、聽覺和語音功能，能夠生成具有情感控制的文本和語音響應。

Gemma 3是谷歌推出的輕量級先進開放模型系列，基於創建Gemini模型的相同研究和技術構建。該模型是多模態的，能夠處理文本和圖像輸入並生成文本輸出。

VL-Rethinker-7B 4位MLX量化版是基於TIGER-Lab/VL-Rethinker-7B模型的量化版本，專為蘋果設備優化，支持視覺問答任務。

這是一個基於Llama架構的多模態模型，支持視覺和文本指令，經過4位量化優化。

InternVL3-78B是OpenGVLab推出的先進多模態大語言模型，展現卓越的綜合性能。相比前代InternVL 2.5，具備更強大的多模態感知與推理能力，並將能力拓展至工具使用、GUI代理、工業圖像分析、3D視覺感知等新領域。

該模型是基於Qwen2.5-VL-7B-Instruct轉換而來的多模態視覺語言模型，支持視覺問答任務。

VL-Rethinker-72B-4bit是一個基於Qwen2.5-VL-7B-Instruct的多模態模型，支持視覺問答任務，已轉換為MLX格式以便在蘋果設備上高效運行。

VoRA是一個基於7B參數的視覺語言模型，能夠處理圖像和文本輸入，生成文本輸出。

Qwen2.5-VL-72B-Instruct是一個72B參數規模的多模態大模型，支持視覺-語言任務，能夠理解和生成與圖像相關的文本內容。

Qwen2.5-VL-32B-Instruct是一個32B參數規模的多模態視覺語言模型，支持圖像理解和文本生成任務。

基於Qwen2.5-VL通過創新性Curr-ReFT方法微調的多模態大語言模型，顯著提升了視覺語言理解與推理能力。

HiMTok是一個基於InternVL2_5-8B大型多模態模型微調的分層掩碼標記學習框架，專注於圖像分割任務。

這是一個圖像文本到文本的轉換模型，能夠處理圖像和文本輸入，生成相應的文本輸出。

該模型是基於Qwen2-VL-7B-Captioner-Relaxed轉換的GGUF格式版本，專為圖像轉文本任務優化，支持通過llama.cpp和Koboldcpp等工具運行。

mmMamba-linear是首個通過中等學術計算資源實現二次到線性蒸餾的純解碼器多模態狀態空間模型，具有高效的多模態處理能力。

桑葚模型是一個基於逐步推理的模型，通過集體知識搜索生成的Mulberry - 260K SFT數據集上進行訓練。

DeepSeer是基於DeepSeek-R1模型開發的視覺語言模型，支持思維鏈推理能力，通過對話模板訓練視覺模型。

魔術師是首個具備自由形式多圖像定位能力的多模態大語言模型，在複雜多圖像場景中實現精確定位，性能超越70B規模模型。

MiniVLA是一個輕量級的視覺語言模型，兼容Prismatic VLMs訓練框架，支持圖像文本到文本的多模態任務。

GLM-Edge-V-5B是一個50億參數的多模態模型，支持圖像和文本輸入，能夠執行圖像理解和文本生成任務。

Emu3是由北京智源研究院開發的多模態模型，僅通過預測下一個標記訓練而成，支持圖像、文本和視頻處理。

Llama-3-EvoVLM-JP-v2 是一款實驗性通用日語視覺語言模型，支持交錯輸入文本和圖像。該模型採用進化模型融合方法創建。

Cephalo是一系列專注於多模態材料科學的視覺大語言模型（V-LLMs），旨在整合視覺和語言數據，以促進人機交互或多智能體AI框架中的高級理解和交互。

DenseConnector 是一個開源聊天機器人，基於 LLaMA/Vicuna 微調，並利用 GPT 生成的多模態指令跟隨數據進行訓練。

Cephalo是一系列專注於多模態材料科學的視覺大語言模型（V-LLMs），旨在整合視覺和語言數據，以促進人機交互或多智能體AI框架中的高級理解和互動。

LLaVA-JP是一個支持日語的多模態視覺語言模型，能夠理解和生成關於輸入圖像的描述和對話。

這是一個基於transformers的圖像到文本轉換模型，具體功能需進一步補充

基於LLaVA-v1.6-Mistral-7B模型微調的多模態模型，支持圖像和文本的聯合理解與生成

LLaVA-v1.5-13B-DPO 是一個基於LLaVA框架的視覺語言模型，經過直接偏好優化(DPO)訓練，並轉換為GGUF量化格式以提高推理效率。

LLaVA是一個開源的多模態聊天機器人，基於大語言模型微調訓練而成，支持圖像和文本的交互。

MoE-LLaVA是一種基於專家混合架構的大規模視覺語言模型，通過稀疏激活參數實現高效的多模態學習。

TinyLLaVA是一個小型大規模多模態模型框架，專注於視覺語言任務，參數規模小但性能優異。

Kosmos-2是一個多模態大語言模型，能夠理解和生成與圖像相關的文本描述，並實現文本與圖像區域的關聯。

LLaVA-Lightning-7B是一個基於LLaMA-7B的多模態模型，通過增量參數調整實現高效的視覺-語言任務處理。

基於microsoft/git-base在圖像文件夾數據集上微調的視覺語言模型，主要用於圖像描述生成任務

VideoBLIP是BLIP-2的增強版本，能夠處理視頻數據，採用OPT-2.7b作為語言模型主幹。

Pix2Struct是基於OCR-VQA任務微調的視覺問答模型，能夠解析圖像中的文本內容並回答問題