%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
ZH
Paligemma2 3b Mix 224 Jax
模型简介
整合SigLIP视觉模型和Gemma 2语言模型的开放组件，在图像描述、视觉问答、文本阅读、目标检测与分割等任务上表现优异
模型特点
多任务统一架构
单一模型支持描述生成、问答、OCR、目标检测与分割等多种视觉语言任务
多语言支持
通过CC3M-35L等数据集扩展支持34种语言的视觉语言理解
负责任AI设计
训练数据经过色情/毒性/隐私等多重过滤，符合Google内容安全政策
模型能力
图像描述生成
视觉问答
光学字符识别
目标检测
图像分割
多语言理解
使用案例
辅助技术
盲人视觉辅助
为视障用户提供图像内容描述
在AOKVQA验证集达到64.2准确率
文档处理
场景文本识别
从自然场景图像中提取文本内容
ICDAR 2015基准F1值75.9
内容审核
图像安全分析
检测图像中的敏感内容
通过人工评估符合安全阈值
🚀 PaliGemma 2模型卡片
PaliGemma 2是一款视觉语言模型，它结合了Gemma 2模型的能力，可处理图像和文本输入并生成文本输出，适用于多种视觉语言任务，如短长标题生成、光学字符识别、问答、目标检测和分割等。
🚀 快速开始
模型页面
下载模型权重
首先，使用Hugging Face CLI进行身份验证：
huggingface-cli login
使用以下命令下载模型权重：
huggingface-cli download --local-dir models google/paligemma2-3b-mix-224-jax
这将把权重下载到models目录。
资源和技术文档
使用条款
作者
访问PaliGemma 2
要在Hugging Face上访问PaliGemma 2，你需要查看并同意Google的使用许可。为此，请确保你已登录Hugging Face并点击下面的按钮。请求将立即处理。 [确认许可](Acknowledge license)
✨ 主要特性
- 多功能性：支持多种视觉语言任务，包括短长标题生成、光学字符识别、问答、目标检测和分割等。
- 可微调性：提供预训练和微调的检查点，可根据具体任务进行微调。
- 多语言支持：支持多种语言，可处理不同语言的输入和输出。
- 研究友好：以
bfloat16格式提供，仅用于研究目的。
📦 安装指南
环境依赖
安装步骤
按照上述快速开始部分的步骤下载模型权重，并确保安装了所需的依赖项。
💻 使用示例
基础用法
目前文档未提供具体的基础使用代码示例，你可以参考big_vision代码库进行使用。
高级用法
目前文档未提供具体的高级使用代码示例，你可以根据具体任务对预训练模型进行微调。
📚 详细文档
模型信息
模型概述
PaliGemma 2是PaliGemma视觉语言模型（VLM）的更新版本，它结合了Gemma 2模型的能力。PaliGemma系列模型受PaLI - 3启发，基于开放组件构建，如SigLIP视觉模型和Gemma 2语言模型。它接受图像和文本作为输入，并生成文本作为输出，支持多种语言。它旨在在广泛的视觉语言任务中实现领先的微调性能，如图像和短视频标题、视觉问答、文本阅读、目标检测和目标分割。
模型架构
PaliGemma 2由Transformer解码器和视觉Transformer图像编码器组成。文本解码器从Gemma 2的2B、9B和27B参数大小初始化。图像编码器从SigLIP - So400m/14初始化。与原始的PaliGemma模型类似，PaliGemma 2按照PaLI - 3的方法进行训练。
输入和输出
- 输入：图像和文本字符串，如图像标题提示或问题。
- 输出：对输入的生成文本响应，如图像标题、问题答案、目标边界框坐标列表或分割码字。
模型数据
预训练数据集
PaliGemma 2在以下数据集的混合上进行预训练：
- WebLI：WebLI（Web Language Image）是一个基于公共网络构建的网络规模多语言图像 - 文本数据集。使用了广泛的WebLI分割来获取通用的模型能力，如视觉语义理解、目标定位、视觉情境文本理解和多语言能力。
- CC3M - 35L：从网页中精心挑选的英语图像 - 替代文本对（[Sharma等人，2018](https://aclanthology.org/P18 - 1238/)）。使用Google Cloud Translation API将其翻译成另外34种语言。
- VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一个子集（[Changpinyo等人，2022a](https://aclanthology.org/2022.naacl - main.142/)），使用Google Cloud Translation API翻译成与CC3M - 35L相同的另外34种语言。
- OpenImages：在OpenImages数据集上通过手工规则生成的检测和目标感知问题与答案（Piergiovanni等人，2022）。
- WIT：从维基百科收集的图像和文本（Srinivasan等人，2021）。
PaliGemma 2基于Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的预训练数据集信息。
数据责任过滤
为了在安全和负责任的数据上训练PaliGemma 2，对WebLI应用了以下过滤器：
- 色情图像过滤：此过滤器去除被认为具有色情性质的图像。
- 文本安全过滤：识别并过滤与不安全文本配对的图像。不安全文本是指任何被认为包含或涉及儿童性虐待图像（CSAI）、色情内容、粗俗语言或以其他方式冒犯的文本。
- 文本毒性过滤：进一步使用Perspective API识别并过滤与被认为具有侮辱性、淫秽、仇恨或以其他方式有毒的文本配对的图像。
- 文本个人信息过滤：使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据，以保护个人隐私。去除了如社会安全号码和[其他敏感信息类型](https://cloud.google.com/sensitive - data - protection/docs/high - sensitivity - infotypes - reference?_gl = 1jg604m_gaODk5MzA3ODQyLjE3MTAzMzQ3NTk._ga_WH2QY8WWF5*MTcxMDUxNTkxMS4yLjEuMTcxMDUxNjA2NC4wLjAuMA..&_ga = 2.172110058.-899307842.1710334759)等标识符。
- 其他方法：根据我们的政策和实践，基于内容质量和安全性进行过滤。
实现信息
硬件
PaliGemma 2使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。
软件
使用JAX、Flax、TFDS和[big_vision](https://github.com/google - research/big_vision)完成训练。
JAX允许研究人员利用最新一代的硬件（包括TPU）进行更快、更高效的大模型训练。
TFDS用于访问数据集，Flax用于模型架构。PaliGemma 2的微调代码和推理代码在big_vision GitHub仓库中发布。
评估信息
基准测试结果
为了验证PaliGemma 2在各种学术任务上的可迁移性，我们在每个任务上对预训练模型进行微调。我们报告了不同分辨率下的结果，以了解哪些任务受益于更高的分辨率，哪些任务受益于更大的模型。重要的是，这些任务或数据集都不是预训练数据混合的一部分，并且它们的图像已从网络规模的预训练数据中明确移除。
PaliGemma 2按模型分辨率和大小的结果
| 基准测试 | 224 - 3B | 224 - 10B | 224 - 28B | 448 - 3B | 448 - 10B | 448 - 28B |
|---|---|---|---|---|---|---|
| AI2D | 74.7 | 83.1 | 83.2 | 76.0 | 84.4 | 84.6 |
| [AOKVQA - DA](https://allenai.org/project/a - okvqa/home) (验证集) | 64.2 | 68.9 | 70.2 | 67.9 | 70.8 | 71.2 |
| [AOKVQA - MC](https://allenai.org/project/a - okvqa/home) (验证集) | 79.7 | 83.7 | 84.7 | 82.5 | 85.9 | 87.0 |
| [ActivityNet - CAP](https://paperswithcode.com/dataset/activitynet - captions) | 34.2 | 35.9 | - | - | - | - |
| ActivityNet - QA | 51.3 | 53.2 | - | - | - | - |
| COCO - 35L (平均34种语言) | 113.9 | 115.8 | 116.5 | 115.8 | 117.2 | 117.2 |
| COCO - 35L (英语) | 138.4 | 140.8 | 142.4 | 140.4 | 142.4 | 142.3 |
| COCOcap | 141.3 | 143.7 | 144.0 | 143.4 | 145.0 | 145.2 |
| ChartQA (增强) | 74.4 | 74.2 | 68.9 | 89.2 | 90.1 | 85.1 |
| ChartQA (人工) | 42.0 | 48.4 | 46.8 | 54.0 | 66.4 | 61.3 |
| [CountBenchQA](https://github.com/google - research/big_vision/blob/main/big_vision/datasets/countbenchqa/) | 81.0 | 84.0 | 86.4 | 82.0 | 85.3 | 87.4 |
| DocVQA (验证集) | 39.9 | 43.9 | 44.9 | 73.6 | 76.6 | 76.1 |
| GQA | 66.2 | 67.2 | 67.3 | 68.1 | 68.3 | 68.3 |
| InfoVQA (验证集) | 25.2 | 33.6 | 36.4 | 37.5 | 47.8 | 46.7 |
| [MARVL](https://marvl - challenge.github.io/) (平均5种语言) | 83.5 | 89.5 | 90.6 | 82.7 | 89.1 | 89.7 |
| [MSRVTT - CAP](https://paperswithcode.com/dataset/msr - vtt) | 68.5 | 72.1 | - | - | - | - |
| [MSRVTT - QA](https://paperswithcode.com/dataset/msr - vtt) | 50.5 | 51.9 | - | - | - | - |
| [MSVD - QA](https://paperswithcode.com/dataset/msvd - qa) | 61.1 | 62.5 | - | - | - | - |
| NLVR2 | 91.4 | 93.9 | 94.2 | 91.6 | 93.7 | 94.1 |
| NoCaps | 123.1 | 126.3 | 127.1 | 123.5 | 126.9 | 127.0 |
| [OCR - VQA](https://ocr - vqa.github.io/) | 73.4 | 74.7 | 75.3 | 75.7 | 76.3 | 76.6 |
| OKVQA | 64.2 | 68.0 | 71.2 | 64.1 | 68.6 | 70.6 |
| RSVQA - hr (测试集) | 92.7 | 92.6 | 92.7 | 92.8 | 92.8 | 92.8 |
| RSVQA - hr (测试集2) | 90.9 | 90.8 | 90.9 | 90.7 | 90.7 | 90.8 |
| RSVQA - lr | 93.0 | 92.8 | 93.5 | 92.7 | 93.1 | 93.7 |
| RefCOCO (测试集A) | 75.7 | 77.2 | 76.8 | 78.6 | 79.7 | 79.3 |
| RefCOCO (测试集B) | 71.0 | 74.2 | 73.9 | 73.5 | 76.2 | 74.8 |
| RefCOCO (验证集) | 73.4 | 75.9 | 75.0 | 76.3 | 78.2 | 77.3 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (测试集A) | 72.7 | 74.7 | 73.6 | 76.1 | 77.7 | 76.6 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (测试集B) | 64.2 | 68.4 | 67.1 | 67.0 | 71.1 | 68.6 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (验证集) | 68.6 | 72.0 | 70.3 | 72.1 | 74.4 | 72.8 |
| RefCOCOg (测试集) | 69.0 | 71.9 | 70.7 | 72.7 | 74.8 | 73.7 |
| RefCOCOg (验证集) | 68.3 | 71.4 | 70.5 | 72.3 | 74.4 | 73.0 |
| ST - VQA (验证集) | 61.9 | 64.3 | 65.1 | 80.5 | 82.0 | 81.8 |
| SciCap | 165.1 | 159.5 | 156.9 | 183.3 | 177.2 | 172.7 |
| ScienceQA | 96.1 | 98.2 | 98.2 | 96.2 | 98.5 | 98.6 |
| Screen2Words | 113.3 | 117.8 | 122.8 | 114.0 | 119.1 | 123.4 |
| TallyQA (复杂) | 70.3 | 73.4 | 74.2 | 73.6 | 76.7 | 76.8 |
| TallyQA (简单) | 81.8 | 83.2 | 83.4 | 85.3 | 86.2 | 85.7 |
| TextCaps | 127.5 | 137.9 | 139.9 | 152.1 | 157.7 | 153.6 |
| TextVQA (验证集) | 59.6 | 64.0 | 64.7 | 75.2 | 76.6 | 76.2 |
| VATEX | 80.8 | 82.7 | - | - | - | - |
| VQAv2 (最小验证集) | 83.0 | 84.3 | 84.5 | 84.8 | 85.8 | 85.8 |
| [VizWizVQA](https://vizwiz.org/tasks - and - datasets/vqa/) (验证集) | 76.4 | 78.1 | 78.7 | 77.5 | 78.6 | 78.9 |
| WidgetCap | 138.1 | 139.8 | 138.8 | 151.4 | 151.9 | 148.9 |
| XM3600 (平均35种语言) | 42.8 | 44.5 | 45.2 | 43.2 | 44.6 | 45.2 |
| XM3600 (英语) | 79.8 | 80.7 | 81.0 | 80.3 | 81.5 | 81.0 |
| [xGQA](https://aclanthology.org/2022.findings - acl.196/) (平均7种语言) | 58.6 | 61.4 | 61.1 | 60.4 | 62.6 | 62.1 |
额外基准测试
| 基准测试 | 模型 | 精度 | 召回率 | F1值 |
|---|---|---|---|---|
| ICDAR 2015 Incidental | PaliGemma 2 3B | 81.9 | 70.7 | 75.9 |
| [Total - Text](https://paperswithcode.com/paper/total - text - a - comprehensive - dataset - for - scene) | PaliGemma 2 3B | 73.8 | 74.5 | 74.2 |
| 基准测试 | 模型 | S - TEDS | TEDS | GriTS - Top | GriTS - Con |
|---|---|---|---|---|---|
| FinTabNet | PaliGemma 2 3B | 99.2 | 98.9 | 99.4 | 99.2 |
| PubTabNet | PaliGemma 2 3B | 97.6 | 97.3 | 97.9 | 97.8 |
| 基准测试 | 模型 | CER | LER | SER |
|---|---|---|---|---|
| [GrandStaff](https://link.springer.com/article/10.1007/s10032 - 023 - 00432 - z) | PaliGemma 2 3B | 1.6 | 6.7 | 2.3 |
| 基准测试 | 模型 | 全匹配 |
|---|---|---|
| PubChem | PaliGemma 2 3B | 94.8 |
| 基准测试 | 模型 | 平均字符数 | 平均句子数 | 非蕴含句子百分比 |
|---|---|---|---|---|
| [DOCCI](https://research.google/pubs/docci - descriptions - of - connected - and - contrasting - images/) | PaliGemma 2 3B | 529 | 7.7 | 28.4 |
| [DOCCI](https://research.google/pubs/docci - descriptions - of - connected - and - contrasting - images/) | PaliGemma 2 10B | 521 | 7.5 | 20.3 |
| 基准测试 | 模型 | CIDEr | BLEU4 | Rouge - L | RadGraph F1 |
|---|---|---|---|---|---|
| [MIMIC - CXR](https://paperswithcode.com/dataset/mimic - cxr) | PaliGemma 2 3B | 19.9 | 14.6 | 31.9 | 28.8 |
| [MIMIC - CXR](https://paperswithcode.com/dataset/mimic - cxr) | PaliGemma 2 10B | 17.4 | 15.0 | 32.4 | 29.5 |
| 基准测试 | 模型 | VSR零样本分割 (测试集) | VSR随机分割 (测试集) |
|---|---|---|---|
| [Visual Spatial Reasoning](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00566/116470/Visual - Spatial - Reasoning) | PaliGemma 2 3B | 74.8 | 81.6 |
| [Visual Spatial Reasoning](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00566/116470/Visual - Spatial - Reasoning) | PaliGemma 2 10B | 79.8 | 86.8 |
伦理和安全
评估方法
我们的评估方法包括跨相关内容政策的结构化伦理和安全评估，包括：
- 人工评估：对涵盖儿童安全、内容安全和代表性危害的提示进行人工评估。有关评估方法的更多详细信息，请参阅Gemma模型卡片，但采用图像标题和视觉问答设置。
- 图像到文本基准评估：针对相关学术数据集（如FairFace数据集（Karkkainen等人，2021））进行基准测试。
评估结果
- 人工评估结果：伦理和安全评估的人工评估结果在可接受的阈值内，符合[内部政策](https://storage.googleapis.com/gweb - uniblog - publish - prod/documents/2023_Google_AI_Principles_Progress_Update.pdf#page = 11)中关于儿童安全、内容安全和代表性危害等类别。
- 毒性评估：除了强大的内部评估外，我们还使用Perspective API（阈值为0.8）来测量从FairFace数据集中获取的图像生成标题中的毒性、亵渎和其他潜在问题。我们报告了每个感知性别、种族和年龄属性子组中观察到的最大值和中位数。
| 指标 | 感知性别 - 最大值 | 感知性别 - 中位数 | 种族 - 最大值 | 种族 - 中位数 | 年龄组 - 最大值 | 年龄组 - 中位数 |
|---|---|---|---|---|---|---|
| 毒性 | 0.14% - 0.19% | 0.10% - 0.18% | 0.29% - 0.39% | 0.07% - 0.14% | 0.18% - 0.32% | 0.08% - 0.12% |
| 身份攻击 | 0.02% - 0.04% | 0.01% - 0.02% | 0.06% - 0.13% | 0.00% - 0.00% | 0.03% - 0.06% | 0.00% - 0.00% |
| 侮辱 | 0.17% - 0.25% | 0.14% - 0.23% | 0.37% - 0.52% | 0.13% - 0.17% | 0.24% - 0.39% | 0.09% - 0.18% |
| 威胁 | 0.43% - 0.57% | 0.27% - 0.41% | 0.48% - 0.83% | 0.19% - 0.42% | 0.43% - 0.64% | 0.27% - 0.40% |
| 亵渎 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% |
使用和限制
预期用途
开放视觉语言模型（VLMs）在各个行业和领域有广泛的应用。以下潜在用途列表并不全面。此列表的目的是提供有关模型创建者在模型训练和开发过程中考虑的可能用例的上下文信息。Gemma模型的禁止使用情况在Gemma禁止使用政策中列出。
特定视觉语言任务的微调
- 通用视觉语言任务：预训练模型可以在广泛的视觉语言任务上进行微调，如图像标题生成、短视频标题生成、视觉问答、文本阅读、目标检测和目标分割。
- 特定领域任务：预训练模型可以针对特定领域进行微调，如遥感问答、盲人视觉问题、科学问答、描述UI元素功能。
- 非文本输出任务：预训练模型可以针对具有非文本输出的任务进行微调，如边界框或分割掩码。
视觉语言研究
预训练模型和微调模型可以为研究人员提供基础，用于实验VLM技术、开发算法并推动该领域的发展。
伦理考虑和风险
视觉语言模型（VLMs）的开发引发了一些伦理问题。在创建开放模型时，我们仔细考虑了以下方面：
- 偏差和公平性：在大规模真实世界图像 - 文本数据上训练的VLMs可能反映训练材料中嵌入的社会文化偏差。这些模型经过了仔细审查，本卡片中描述了输入数据预处理和后续评估情况。
- 错误信息和滥用：VLMs可能被滥用来生成虚假、误导或有害的文本。提供了负责任使用模型的指南，请参阅Responsible Generative AI Toolkit。
- 透明度和问责制：本模型卡片总结了模型的架构、能力、限制和评估过程的详细信息。一个负责任开发的开放模型为开发者和研究人员提供了分享创新的机会，使VLM技术更易于访问。
已识别的风险和缓解措施
- 偏差的延续：鼓励在模型训练、微调及其他用例中进行持续监测（使用评估指标、人工审查）并探索去偏差技术。
- 有害内容的生成：内容安全机制和指南至关重要。鼓励开发者根据其特定产品政策和应用用例谨慎行事并实施适当的内容安全保障措施。
- 恶意用途：技术限制以及对开发者和最终用户的教育有助于减轻LLMs的恶意应用。提供了教育资源和用户举报滥用的机制，请参阅Responsible Generative AI Toolkit。Gemma模型的禁止使用情况在Gemma禁止使用政策中列出。
- 隐私侵犯：模型在过滤了某些个人信息和敏感数据的数据集上进行训练。鼓励开发者遵守隐私法规并采用隐私保护技术。
限制
- 继承自Gemma 2的限制：大多数从底层Gemma 2模型继承的限制仍然适用。VLMs在可以用明确提示和说明构建的任务上表现更好。开放式或高度复杂的任务可能具有挑战性。自然语言本质上很复杂，VLMs可能难以理解微妙的细微差别、讽刺或比喻语言。VLMs根据从训练数据集中学到的信息生成响应，但它们不是知识库，可能会生成不正确或过时的事实陈述。VLMs依赖于语言和图像中的统计模式，在某些情况下可能缺乏应用常识推理的能力。
- 预训练模型的局限性：PaliGemma 2首先是作为通用预训练模型设计的，用于微调至特定任务。因此，其“开箱即用”或“零样本”性能可能落后于专门为通用用途设计的模型。
- 单轮交互：PaliGemma 2不是多轮聊天机器人，它设计用于单轮图像和文本输入。
🔧 技术细节
模型架构
PaliGemma 2由Transformer解码器和视觉Transformer图像编码器组成，文本解码器从Gemma 2初始化，图像编码器从SigLIP - So400m/14初始化，训练方法遵循PaLI - 3。
预训练数据集
使用了WebLI、CC3M - 35L、VQ²A - CC3M - 35L/VQG - CC3M - 35L、OpenImages和WIT等数据集，并对WebLI进行了数据责任过滤。
训练硬件和软件
使用TPUv5e硬件，结合JAX、Flax、TFDS和big_vision软件进行训练。
📄 许可证
本模型基于Gemma许可证发布。
引用
@article{
title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
year={2024},
journal={arXiv preprint arXiv:2412.03555}
}
Clip Vit Large Patch14 336
基于Vision Transformer架构的大规模视觉语言预训练模型，支持图像与文本的跨模态理解
文本生成图像
Transformers
TransformersC
openai
5.9M
241
Fashion Clip
MIT
FashionCLIP是基于CLIP开发的视觉语言模型，专门针对时尚领域进行微调，能够生成通用产品表征。
文本生成图像 Transformers 英语
Transformers 英语F
patrickjohncyh
3.8M
222
Gemma 3 1b It
Gemma 3是Google推出的轻量级先进开放模型系列，基于与Gemini模型相同的研究和技术构建。该模型是多模态模型，能够处理文本和图像输入并生成文本输出。
文本生成图像 Transformers
TransformersG
google
2.1M
347
Blip Vqa Base
Bsd-3-clause
BLIP是一个统一的视觉语言预训练框架，擅长视觉问答任务，通过语言-图像联合训练实现多模态理解与生成能力
文本生成图像 Transformers
TransformersB
Salesforce
1.9M
154
CLIP ViT H 14 Laion2b S32b B79k
MIT
基于OpenCLIP框架在LAION-2B英文数据集上训练的视觉-语言模型，支持零样本图像分类和跨模态检索任务
文本生成图像
Safetensors
SafetensorsC
laion
1.8M
368
CLIP ViT B 32 Laion2b S34b B79k
MIT
基于OpenCLIP框架在LAION-2B英语子集上训练的视觉-语言模型，支持零样本图像分类和跨模态检索
文本生成图像 Safetensors
SafetensorsC
laion
1.1M
112
Pickscore V1
PickScore v1 是一个针对文本生成图像的评分函数，可用于预测人类偏好、评估模型性能和图像排序等任务。
文本生成图像 Transformers
TransformersP
yuvalkirstain
1.1M
44
Owlv2 Base Patch16 Ensemble
Apache-2.0
OWLv2是一种零样本文本条件目标检测模型，可通过文本查询在图像中定位对象。
文本生成图像 Transformers
TransformersO
google
932.80k
99
Llama 3.2 11B Vision Instruct
Llama 3.2 是 Meta 发布的多语言多模态大型语言模型，支持图像文本到文本的转换任务，具备强大的跨模态理解能力。
文本生成图像 Transformers 支持多种语言
Transformers 支持多种语言L
meta-llama
784.19k
1,424
Owlvit Base Patch32
Apache-2.0
OWL-ViT是一个零样本文本条件目标检测模型，可以通过文本查询搜索图像中的对象，无需特定类别的训练数据。
文本生成图像 Transformers
TransformersO
google
764.95k
129
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers 英语
Transformers 英语C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98