# 多模态处理

Gemma 3n-E2B-it 是 Google 推出的轻量级开源多模态模型，基于与 Gemini 相同技术构建，专为低资源设备优化。

Gemma 3n是谷歌推出的轻量级、最先进的开源模型家族，支持多模态输入和输出。

Gemma 3n是Google推出的轻量级、最先进的开源多模态模型家族，基于与Gemini模型相同的研究和技术构建，支持文本、音频和视觉输入。

NuExtract 2.0是专为结构化信息提取任务训练的多模态模型系列，支持文本和图像输入，具备多语言处理能力。

该模型是一个基于transformers库的模型，具体用途和功能需要进一步的信息来确定。

基于Gemma 3 4B的量化版本图像文本转文本模型，旨在让知识为大众所用

Gemma 3是谷歌推出的轻量级开源多模态模型，基于Gemini技术构建，支持文本和图像输入，生成文本输出。

基于Transformers库的稳健图像编码器模型，专注于图像特征提取任务

MixTex base_ZhEn 是一个支持中文和英语的图像转文本模型，基于MIT许可证发布。

基于Gemma 3 4B模型，采用与Glitter 12b相同的数据混合方案优化的模型

该模型是从 ds4sd/SmolDocling-256M-preview 转换为 MLX 格式的视觉语言模型，支持图像文本到文本任务。

Gemma 3是谷歌推出的轻量级开放模型系列，基于与Gemini模型相同的研究和技术构建，支持多模态输入和文本输出。

Gemma 3是谷歌推出的轻量级开放模型系列，支持多模态输入（文本和图像），拥有128K大上下文窗口，适用于问答、摘要等多种任务。

基于sberbank-ai/ruBert-large微调的文档问答专用模型，支持俄语和英语的文档问答任务。

基于sberbank-ai/ruBert-large微调的文档问答模型，擅长从文档中提取答案，支持俄语和英语。

基于sberbank-ai/ruBert-base微调的文档问答模型，擅长从文档上下文中提取答案，支持俄语和英语。

Ola-7B是由腾讯、清华大学和南洋理工大学联合开发的多模态语言模型，基于Qwen2.5架构，支持处理图像、视频、音频和文本输入，并输出文本。

Ola-7B是由腾讯、清华大学和南洋理工大学联合开发的多模态大语言模型，基于Qwen2.5架构，支持处理文本、图像、视频和音频输入，并生成文本输出。

该模型能够将PDF文档转换为Markdown格式，保持原始文档排版结构，准确识别数学公式和表格。

基于Florence-2-base微调的文档视觉问答模型，专门用于处理文档图像中的问答任务。

LongVU 是一种面向长视频语言理解的时空自适应压缩技术，旨在高效处理长视频内容，提升语言理解能力。

Oryx-1.5-7B是基于Qwen2.5语言模型开发的7B参数模型，支持32K tokens上下文窗口，专注于高效处理任意空间尺寸和时长的视觉输入。

LongVU是一种面向长视频语言理解的时空自适应压缩技术，旨在高效处理长视频内容。

H2O.ai推出的8亿参数视觉语言模型，专注于OCR和文档理解，性能优异

基于微软Florence-2模型使用Docmatix数据集（5%数据量）微调1天的版本，适用于图像文本理解任务

基于Mistral社区Pixtral-12B的4位量化版本，专注于图像文本到文本任务，支持中文描述生成

该模型是一个基于transformers库的模型，具体功能和用途需要进一步信息确认。

基于PyTorch实现的掩码生成模型，通过PytorchModelHubMixin集成推送至Hub

适用于机器人控制任务的预训练Transformer模型，支持运动规划、物体抓取等基础功能

这是微软Florence-2模型使用Docmatix数据集（5%数据量）以1e-6学习率微调1天后的版本

Donut 是一个基于 Transformer 的图像转文本模型，能够从图像中提取和生成文本内容。

这是一个基于微软Kosmos-2模型微调的多模态模型，专门用于识别宝可梦卡牌中的宝可梦名称。

这是一个基于BLIP架构的图像描述生成模型，专门用于为图标或简单图像生成文本描述。

基于microsoft/layoutlmv3-base模型在文档图像分类任务上微调的版本，在评估集上F1分数达到0.8177

该模型能够将输入的医学图像（如X光片）转换为描述性文本，辅助医疗诊断。

基于microsoft/layoutlmv3-base微调的文档理解模型，擅长处理文档布局分析任务

基于naver-clova-ix/donut-base微调的手写识别模型

LLaVA 是一个大型语言和视觉助手模型，能够处理图像和文本的多模态任务。

DocLLM_reimplementation 是一个针对文档理解任务的大语言模型实现项目，旨在重新实现和改进文档理解能力。

该模型用于将图表转换为结构化表格，基于UniChart架构构建，生成的表格使用特定分隔符表示行列结构。