# 跨模態推理

Gemma 3n是Google推出的輕量級、最先進的開源多模態模型家族，基於與Gemini模型相同的研究和技術構建，支持文本、音頻和視覺輸入。

Ristretto是一款創新的視覺語言模型，採用動態圖像令牌部署技術，能根據任務需求靈活調整圖像令牌數量，在性能和多功能性上超越前代產品。

Qwen2-VL-2B-Instruct 是一個多模態視覺語言模型，支持圖像文本到文本的任務。

這是一個圖像文本到文本的轉換模型，能夠處理圖像和文本輸入，生成相應的文本輸出。

Aya Vision 32B是Cohere實驗室開發的開放權重32B參數多模態模型，支持23種語言的視覺語言任務。

ChatTime是一個統一處理時間序列與文本的多模態基礎模型，具備零樣本預測能力，支持時間序列與文本的雙模態輸入/輸出。

ChemVLM是一個多模態大語言模型，專注於化學領域的應用，結合了文本和圖像處理能力。

Meta變色龍是FAIR研發的混合模態早期融合基礎模型，支持圖像和文本的多模態處理。

基於BLIP-2-OPT-2.7B訓練的第一人稱視角視頻優化視覺語言模型，採用EILEV創新方法激發上下文學習能力

CogVLM是一個強大的開源視覺語言模型，在多個跨模態基準測試中取得領先性能

Pix2Struct是一種圖像編碼器-文本解碼器模型，通過多任務訓練處理視覺語言理解任務，特別針對高分辨率信息圖表的視覺問答進行了優化。

該模型是基於微軟LayoutLMv3預訓練模型，在多頁文檔問答（MP-DocVQA）數據集上微調的文檔視覺問答模型。