# 多模態處理

Gemma 3n-E2B-it 是 Google 推出的輕量級開源多模態模型，基於與 Gemini 相同技術構建，專為低資源設備優化。

基於ImageNet預訓練的通用視覺感知器模型，採用學習型位置嵌入處理圖像輸入

Gemma 3n是谷歌推出的輕量級、最先進的開源模型家族，支持多模態輸入和輸出。

Gemma 3n是Google推出的輕量級、最先進的開源多模態模型家族，基於與Gemini模型相同的研究和技術構建，支持文本、音頻和視覺輸入。

NuExtract 2.0是專為結構化信息提取任務訓練的多模態模型系列，支持文本和圖像輸入，具備多語言處理能力。

該模型是一個基於transformers庫的模型，具體用途和功能需要進一步的信息來確定。

基於Gemma 3 4B的量化版本圖像文本轉文本模型，旨在讓知識為大眾所用

Gemma 3是谷歌推出的輕量級開源多模態模型，基於Gemini技術構建，支持文本和圖像輸入，生成文本輸出。

基於Transformers庫的穩健圖像編碼器模型，專注於圖像特徵提取任務

MixTex base_ZhEn 是一個支持中文和英語的圖像轉文本模型，基於MIT許可證發佈。

基於Gemma 3 4B模型，採用與Glitter 12b相同的數據混合方案優化的模型

該模型是從 ds4sd/SmolDocling-256M-preview 轉換為 MLX 格式的視覺語言模型，支持圖像文本到文本任務。

Gemma 3是谷歌推出的輕量級開放模型系列，基於與Gemini模型相同的研究和技術構建，支持多模態輸入和文本輸出。

Gemma 3是谷歌推出的輕量級開放模型系列，支持多模態輸入（文本和圖像），擁有128K大上下文窗口，適用於問答、摘要等多種任務。

基於sberbank-ai/ruBert-large微調的文檔問答模型，擅長從文檔中提取答案，支持俄語和英語。

基於sberbank-ai/ruBert-large微調的文檔問答專用模型，支持俄語和英語的文檔問答任務。

基於sberbank-ai/ruBert-base微調的文檔問答模型，擅長從文檔上下文中提取答案，支持俄語和英語。

Ola-7B是由騰訊、清華大學和南洋理工大學聯合開發的多模態語言模型，基於Qwen2.5架構，支持處理圖像、視頻、音頻和文本輸入，並輸出文本。

Ola-7B是由騰訊、清華大學和南洋理工大學聯合開發的多模態大語言模型，基於Qwen2.5架構，支持處理文本、圖像、視頻和音頻輸入，並生成文本輸出。

該模型能夠將PDF文檔轉換為Markdown格式，保持原始文檔排版結構，準確識別數學公式和表格。

基於Florence-2-base微調的文檔視覺問答模型，專門用於處理文檔圖像中的問答任務。

LongVU 是一種面向長視頻語言理解的時空自適應壓縮技術，旨在高效處理長視頻內容，提升語言理解能力。

Oryx-1.5-7B是基於Qwen2.5語言模型開發的7B參數模型，支持32K tokens上下文窗口，專注於高效處理任意空間尺寸和時長的視覺輸入。

LongVU是一種面向長視頻語言理解的時空自適應壓縮技術，旨在高效處理長視頻內容。

H2O.ai推出的8億參數視覺語言模型，專注於OCR和文檔理解，性能優異

基於微軟Florence-2模型使用Docmatix數據集（5%數據量）微調1天的版本，適用於圖像文本理解任務

基於Mistral社區Pixtral-12B的4位量化版本，專注於圖像文本到文本任務，支持中文描述生成

該模型是一個基於transformers庫的模型，具體功能和用途需要進一步信息確認。

基於PyTorch實現的掩碼生成模型，通過PytorchModelHubMixin集成推送至Hub

適用於機器人控制任務的預訓練Transformer模型，支持運動規劃、物體抓取等基礎功能

這是微軟Florence-2模型使用Docmatix數據集（5%數據量）以1e-6學習率微調1天后的版本

Donut 是一個基於 Transformer 的圖像轉文本模型，能夠從圖像中提取和生成文本內容。

這是一個基於微軟Kosmos-2模型微調的多模態模型，專門用於識別寶可夢卡牌中的寶可夢名稱。

這是一個基於BLIP架構的圖像描述生成模型，專門用於為圖標或簡單圖像生成文本描述。

基於microsoft/layoutlmv3-base模型在文檔圖像分類任務上微調的版本，在評估集上F1分數達到0.8177

該模型能夠將輸入的醫學圖像（如X光片）轉換為描述性文本，輔助醫療診斷。

基於microsoft/layoutlmv3-base微調的文檔理解模型，擅長處理文檔佈局分析任務

基於naver-clova-ix/donut-base微調的手寫識別模型

LLaVA 是一個大型語言和視覺助手模型，能夠處理圖像和文本的多模態任務。

DocLLM_reimplementation 是一個針對文檔理解任務的大語言模型實現項目，旨在重新實現和改進文檔理解能力。