%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
TW
Paligemma2 3b Mix 224 Jax
模型概述
整合SigLIP視覺模型和Gemma 2語言模型的開放組件，在圖像描述、視覺問答、文本閱讀、目標檢測與分割等任務上表現優異
模型特點
多任務統一架構
單一模型支持描述生成、問答、OCR、目標檢測與分割等多種視覺語言任務
多語言支持
通過CC3M-35L等數據集擴展支持34種語言的視覺語言理解
負責任AI設計
訓練數據經過色情/毒性/隱私等多重過濾，符合Google內容安全政策
模型能力
圖像描述生成
視覺問答
光學字符識別
目標檢測
圖像分割
多語言理解
使用案例
輔助技術
盲人視覺輔助
為視障用戶提供圖像內容描述
在AOKVQA驗證集達到64.2準確率
文檔處理
場景文本識別
從自然場景圖像中提取文本內容
ICDAR 2015基準F1值75.9
內容審核
圖像安全分析
檢測圖像中的敏感內容
通過人工評估符合安全閾值
🚀 PaliGemma 2模型卡片
PaliGemma 2是一款視覺語言模型，它結合了Gemma 2模型的能力，可處理圖像和文本輸入並生成文本輸出，適用於多種視覺語言任務，如短長標題生成、光學字符識別、問答、目標檢測和分割等。
🚀 快速開始
模型頁面
下載模型權重
首先，使用Hugging Face CLI進行身份驗證：
huggingface-cli login
使用以下命令下載模型權重：
huggingface-cli download --local-dir models google/paligemma2-3b-mix-224-jax
這將把權重下載到models目錄。
資源和技術文檔
使用條款
作者
訪問PaliGemma 2
要在Hugging Face上訪問PaliGemma 2，你需要查看並同意Google的使用許可。為此，請確保你已登錄Hugging Face並點擊下面的按鈕。請求將立即處理。 [確認許可](Acknowledge license)
✨ 主要特性
- 多功能性：支持多種視覺語言任務，包括短長標題生成、光學字符識別、問答、目標檢測和分割等。
- 可微調性：提供預訓練和微調的檢查點，可根據具體任務進行微調。
- 多語言支持：支持多種語言，可處理不同語言的輸入和輸出。
- 研究友好：以
bfloat16格式提供，僅用於研究目的。
📦 安裝指南
環境依賴
安裝步驟
按照上述快速開始部分的步驟下載模型權重，並確保安裝了所需的依賴項。
💻 使用示例
基礎用法
目前文檔未提供具體的基礎使用代碼示例，你可以參考big_vision代碼庫進行使用。
高級用法
目前文檔未提供具體的高級使用代碼示例，你可以根據具體任務對預訓練模型進行微調。
📚 詳細文檔
模型信息
模型概述
PaliGemma 2是PaliGemma視覺語言模型（VLM）的更新版本，它結合了Gemma 2模型的能力。PaliGemma系列模型受PaLI - 3啟發，基於開放組件構建，如SigLIP視覺模型和Gemma 2語言模型。它接受圖像和文本作為輸入，並生成文本作為輸出，支持多種語言。它旨在在廣泛的視覺語言任務中實現領先的微調性能，如圖像和短視頻標題、視覺問答、文本閱讀、目標檢測和目標分割。
模型架構
PaliGemma 2由Transformer解碼器和視覺Transformer圖像編碼器組成。文本解碼器從Gemma 2的2B、9B和27B參數大小初始化。圖像編碼器從SigLIP - So400m/14初始化。與原始的PaliGemma模型類似，PaliGemma 2按照PaLI - 3的方法進行訓練。
輸入和輸出
- 輸入：圖像和文本字符串，如圖像標題提示或問題。
- 輸出：對輸入的生成文本響應，如圖像標題、問題答案、目標邊界框座標列表或分割碼字。
模型數據
預訓練數據集
PaliGemma 2在以下數據集的混合上進行預訓練：
- WebLI：WebLI（Web Language Image）是一個基於公共網絡構建的網絡規模多語言圖像 - 文本數據集。使用了廣泛的WebLI分割來獲取通用的模型能力，如視覺語義理解、目標定位、視覺情境文本理解和多語言能力。
- CC3M - 35L：從網頁中精心挑選的英語圖像 - 替代文本對（[Sharma等人，2018](https://aclanthology.org/P18 - 1238/)）。使用Google Cloud Translation API將其翻譯成另外34種語言。
- VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一個子集（[Changpinyo等人，2022a](https://aclanthology.org/2022.naacl - main.142/)），使用Google Cloud Translation API翻譯成與CC3M - 35L相同的另外34種語言。
- OpenImages：在OpenImages數據集上通過手工規則生成的檢測和目標感知問題與答案（Piergiovanni等人，2022）。
- WIT：從維基百科收集的圖像和文本（Srinivasan等人，2021）。
PaliGemma 2基於Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的預訓練數據集信息。
數據責任過濾
為了在安全和負責任的數據上訓練PaliGemma 2，對WebLI應用了以下過濾器：
- 色情圖像過濾：此過濾器去除被認為具有色情性質的圖像。
- 文本安全過濾：識別並過濾與不安全文本配對的圖像。不安全文本是指任何被認為包含或涉及兒童性虐待圖像（CSAI）、色情內容、粗俗語言或以其他方式冒犯的文本。
- 文本毒性過濾：進一步使用Perspective API識別並過濾與被認為具有侮辱性、淫穢、仇恨或以其他方式有毒的文本配對的圖像。
- 文本個人信息過濾：使用Cloud Data Loss Prevention (DLP) API過濾某些個人信息和其他敏感數據，以保護個人隱私。去除了如社會安全號碼和[其他敏感信息類型](https://cloud.google.com/sensitive - data - protection/docs/high - sensitivity - infotypes - reference?_gl = 1jg604m_gaODk5MzA3ODQyLjE3MTAzMzQ3NTk._ga_WH2QY8WWF5*MTcxMDUxNTkxMS4yLjEuMTcxMDUxNjA2NC4wLjAuMA..&_ga = 2.172110058.-899307842.1710334759)等標識符。
- 其他方法：根據我們的政策和實踐，基於內容質量和安全性進行過濾。
實現信息
硬件
PaliGemma 2使用最新一代的張量處理單元（TPU）硬件（TPUv5e）進行訓練。
軟件
使用JAX、Flax、TFDS和[big_vision](https://github.com/google - research/big_vision)完成訓練。
JAX允許研究人員利用最新一代的硬件（包括TPU）進行更快、更高效的大模型訓練。
TFDS用於訪問數據集，Flax用於模型架構。PaliGemma 2的微調代碼和推理代碼在big_vision GitHub倉庫中發佈。
評估信息
基準測試結果
為了驗證PaliGemma 2在各種學術任務上的可遷移性，我們在每個任務上對預訓練模型進行微調。我們報告了不同分辨率下的結果，以瞭解哪些任務受益於更高的分辨率，哪些任務受益於更大的模型。重要的是，這些任務或數據集都不是預訓練數據混合的一部分，並且它們的圖像已從網絡規模的預訓練數據中明確移除。
PaliGemma 2按模型分辨率和大小的結果
| 基準測試 | 224 - 3B | 224 - 10B | 224 - 28B | 448 - 3B | 448 - 10B | 448 - 28B |
|---|---|---|---|---|---|---|
| AI2D | 74.7 | 83.1 | 83.2 | 76.0 | 84.4 | 84.6 |
| [AOKVQA - DA](https://allenai.org/project/a - okvqa/home) (驗證集) | 64.2 | 68.9 | 70.2 | 67.9 | 70.8 | 71.2 |
| [AOKVQA - MC](https://allenai.org/project/a - okvqa/home) (驗證集) | 79.7 | 83.7 | 84.7 | 82.5 | 85.9 | 87.0 |
| [ActivityNet - CAP](https://paperswithcode.com/dataset/activitynet - captions) | 34.2 | 35.9 | - | - | - | - |
| ActivityNet - QA | 51.3 | 53.2 | - | - | - | - |
| COCO - 35L (平均34種語言) | 113.9 | 115.8 | 116.5 | 115.8 | 117.2 | 117.2 |
| COCO - 35L (英語) | 138.4 | 140.8 | 142.4 | 140.4 | 142.4 | 142.3 |
| COCOcap | 141.3 | 143.7 | 144.0 | 143.4 | 145.0 | 145.2 |
| ChartQA (增強) | 74.4 | 74.2 | 68.9 | 89.2 | 90.1 | 85.1 |
| ChartQA (人工) | 42.0 | 48.4 | 46.8 | 54.0 | 66.4 | 61.3 |
| [CountBenchQA](https://github.com/google - research/big_vision/blob/main/big_vision/datasets/countbenchqa/) | 81.0 | 84.0 | 86.4 | 82.0 | 85.3 | 87.4 |
| DocVQA (驗證集) | 39.9 | 43.9 | 44.9 | 73.6 | 76.6 | 76.1 |
| GQA | 66.2 | 67.2 | 67.3 | 68.1 | 68.3 | 68.3 |
| InfoVQA (驗證集) | 25.2 | 33.6 | 36.4 | 37.5 | 47.8 | 46.7 |
| [MARVL](https://marvl - challenge.github.io/) (平均5種語言) | 83.5 | 89.5 | 90.6 | 82.7 | 89.1 | 89.7 |
| [MSRVTT - CAP](https://paperswithcode.com/dataset/msr - vtt) | 68.5 | 72.1 | - | - | - | - |
| [MSRVTT - QA](https://paperswithcode.com/dataset/msr - vtt) | 50.5 | 51.9 | - | - | - | - |
| [MSVD - QA](https://paperswithcode.com/dataset/msvd - qa) | 61.1 | 62.5 | - | - | - | - |
| NLVR2 | 91.4 | 93.9 | 94.2 | 91.6 | 93.7 | 94.1 |
| NoCaps | 123.1 | 126.3 | 127.1 | 123.5 | 126.9 | 127.0 |
| [OCR - VQA](https://ocr - vqa.github.io/) | 73.4 | 74.7 | 75.3 | 75.7 | 76.3 | 76.6 |
| OKVQA | 64.2 | 68.0 | 71.2 | 64.1 | 68.6 | 70.6 |
| RSVQA - hr (測試集) | 92.7 | 92.6 | 92.7 | 92.8 | 92.8 | 92.8 |
| RSVQA - hr (測試集2) | 90.9 | 90.8 | 90.9 | 90.7 | 90.7 | 90.8 |
| RSVQA - lr | 93.0 | 92.8 | 93.5 | 92.7 | 93.1 | 93.7 |
| RefCOCO (測試集A) | 75.7 | 77.2 | 76.8 | 78.6 | 79.7 | 79.3 |
| RefCOCO (測試集B) | 71.0 | 74.2 | 73.9 | 73.5 | 76.2 | 74.8 |
| RefCOCO (驗證集) | 73.4 | 75.9 | 75.0 | 76.3 | 78.2 | 77.3 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (測試集A) | 72.7 | 74.7 | 73.6 | 76.1 | 77.7 | 76.6 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (測試集B) | 64.2 | 68.4 | 67.1 | 67.0 | 71.1 | 68.6 |
| [RefCOCO+](https://aclanthology.org/D14 - 1086) (驗證集) | 68.6 | 72.0 | 70.3 | 72.1 | 74.4 | 72.8 |
| RefCOCOg (測試集) | 69.0 | 71.9 | 70.7 | 72.7 | 74.8 | 73.7 |
| RefCOCOg (驗證集) | 68.3 | 71.4 | 70.5 | 72.3 | 74.4 | 73.0 |
| ST - VQA (驗證集) | 61.9 | 64.3 | 65.1 | 80.5 | 82.0 | 81.8 |
| SciCap | 165.1 | 159.5 | 156.9 | 183.3 | 177.2 | 172.7 |
| ScienceQA | 96.1 | 98.2 | 98.2 | 96.2 | 98.5 | 98.6 |
| Screen2Words | 113.3 | 117.8 | 122.8 | 114.0 | 119.1 | 123.4 |
| TallyQA (複雜) | 70.3 | 73.4 | 74.2 | 73.6 | 76.7 | 76.8 |
| TallyQA (簡單) | 81.8 | 83.2 | 83.4 | 85.3 | 86.2 | 85.7 |
| TextCaps | 127.5 | 137.9 | 139.9 | 152.1 | 157.7 | 153.6 |
| TextVQA (驗證集) | 59.6 | 64.0 | 64.7 | 75.2 | 76.6 | 76.2 |
| VATEX | 80.8 | 82.7 | - | - | - | - |
| VQAv2 (最小驗證集) | 83.0 | 84.3 | 84.5 | 84.8 | 85.8 | 85.8 |
| [VizWizVQA](https://vizwiz.org/tasks - and - datasets/vqa/) (驗證集) | 76.4 | 78.1 | 78.7 | 77.5 | 78.6 | 78.9 |
| WidgetCap | 138.1 | 139.8 | 138.8 | 151.4 | 151.9 | 148.9 |
| XM3600 (平均35種語言) | 42.8 | 44.5 | 45.2 | 43.2 | 44.6 | 45.2 |
| XM3600 (英語) | 79.8 | 80.7 | 81.0 | 80.3 | 81.5 | 81.0 |
| [xGQA](https://aclanthology.org/2022.findings - acl.196/) (平均7種語言) | 58.6 | 61.4 | 61.1 | 60.4 | 62.6 | 62.1 |
額外基準測試
| 基準測試 | 模型 | 精度 | 召回率 | F1值 |
|---|---|---|---|---|
| ICDAR 2015 Incidental | PaliGemma 2 3B | 81.9 | 70.7 | 75.9 |
| [Total - Text](https://paperswithcode.com/paper/total - text - a - comprehensive - dataset - for - scene) | PaliGemma 2 3B | 73.8 | 74.5 | 74.2 |
| 基準測試 | 模型 | S - TEDS | TEDS | GriTS - Top | GriTS - Con |
|---|---|---|---|---|---|
| FinTabNet | PaliGemma 2 3B | 99.2 | 98.9 | 99.4 | 99.2 |
| PubTabNet | PaliGemma 2 3B | 97.6 | 97.3 | 97.9 | 97.8 |
| 基準測試 | 模型 | CER | LER | SER |
|---|---|---|---|---|
| [GrandStaff](https://link.springer.com/article/10.1007/s10032 - 023 - 00432 - z) | PaliGemma 2 3B | 1.6 | 6.7 | 2.3 |
| 基準測試 | 模型 | 全匹配 |
|---|---|---|
| PubChem | PaliGemma 2 3B | 94.8 |
| 基準測試 | 模型 | 平均字符數 | 平均句子數 | 非蘊含句子百分比 |
|---|---|---|---|---|
| [DOCCI](https://research.google/pubs/docci - descriptions - of - connected - and - contrasting - images/) | PaliGemma 2 3B | 529 | 7.7 | 28.4 |
| [DOCCI](https://research.google/pubs/docci - descriptions - of - connected - and - contrasting - images/) | PaliGemma 2 10B | 521 | 7.5 | 20.3 |
| 基準測試 | 模型 | CIDEr | BLEU4 | Rouge - L | RadGraph F1 |
|---|---|---|---|---|---|
| [MIMIC - CXR](https://paperswithcode.com/dataset/mimic - cxr) | PaliGemma 2 3B | 19.9 | 14.6 | 31.9 | 28.8 |
| [MIMIC - CXR](https://paperswithcode.com/dataset/mimic - cxr) | PaliGemma 2 10B | 17.4 | 15.0 | 32.4 | 29.5 |
| 基準測試 | 模型 | VSR零樣本分割 (測試集) | VSR隨機分割 (測試集) |
|---|---|---|---|
| [Visual Spatial Reasoning](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00566/116470/Visual - Spatial - Reasoning) | PaliGemma 2 3B | 74.8 | 81.6 |
| [Visual Spatial Reasoning](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00566/116470/Visual - Spatial - Reasoning) | PaliGemma 2 10B | 79.8 | 86.8 |
倫理和安全
評估方法
我們的評估方法包括跨相關內容政策的結構化倫理和安全評估，包括：
- 人工評估：對涵蓋兒童安全、內容安全和代表性危害的提示進行人工評估。有關評估方法的更多詳細信息，請參閱Gemma模型卡片，但採用圖像標題和視覺問答設置。
- 圖像到文本基準評估：針對相關學術數據集（如FairFace數據集（Karkkainen等人，2021））進行基準測試。
評估結果
- 人工評估結果：倫理和安全評估的人工評估結果在可接受的閾值內，符合[內部政策](https://storage.googleapis.com/gweb - uniblog - publish - prod/documents/2023_Google_AI_Principles_Progress_Update.pdf#page = 11)中關於兒童安全、內容安全和代表性危害等類別。
- 毒性評估：除了強大的內部評估外，我們還使用Perspective API（閾值為0.8）來測量從FairFace數據集中獲取的圖像生成標題中的毒性、褻瀆和其他潛在問題。我們報告了每個感知性別、種族和年齡屬性子組中觀察到的最大值和中位數。
| 指標 | 感知性別 - 最大值 | 感知性別 - 中位數 | 種族 - 最大值 | 種族 - 中位數 | 年齡組 - 最大值 | 年齡組 - 中位數 |
|---|---|---|---|---|---|---|
| 毒性 | 0.14% - 0.19% | 0.10% - 0.18% | 0.29% - 0.39% | 0.07% - 0.14% | 0.18% - 0.32% | 0.08% - 0.12% |
| 身份攻擊 | 0.02% - 0.04% | 0.01% - 0.02% | 0.06% - 0.13% | 0.00% - 0.00% | 0.03% - 0.06% | 0.00% - 0.00% |
| 侮辱 | 0.17% - 0.25% | 0.14% - 0.23% | 0.37% - 0.52% | 0.13% - 0.17% | 0.24% - 0.39% | 0.09% - 0.18% |
| 威脅 | 0.43% - 0.57% | 0.27% - 0.41% | 0.48% - 0.83% | 0.19% - 0.42% | 0.43% - 0.64% | 0.27% - 0.40% |
| 褻瀆 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% |
使用和限制
預期用途
開放視覺語言模型（VLMs）在各個行業和領域有廣泛的應用。以下潛在用途列表並不全面。此列表的目的是提供有關模型創建者在模型訓練和開發過程中考慮的可能用例的上下文信息。Gemma模型的禁止使用情況在Gemma禁止使用政策中列出。
特定視覺語言任務的微調
- 通用視覺語言任務：預訓練模型可以在廣泛的視覺語言任務上進行微調，如圖像標題生成、短視頻標題生成、視覺問答、文本閱讀、目標檢測和目標分割。
- 特定領域任務：預訓練模型可以針對特定領域進行微調，如遙感問答、盲人視覺問題、科學問答、描述UI元素功能。
- 非文本輸出任務：預訓練模型可以針對具有非文本輸出的任務進行微調，如邊界框或分割掩碼。
視覺語言研究
預訓練模型和微調模型可以為研究人員提供基礎，用於實驗VLM技術、開發算法並推動該領域的發展。
倫理考慮和風險
視覺語言模型（VLMs）的開發引發了一些倫理問題。在創建開放模型時，我們仔細考慮了以下方面：
- 偏差和公平性：在大規模真實世界圖像 - 文本數據上訓練的VLMs可能反映訓練材料中嵌入的社會文化偏差。這些模型經過了仔細審查，本卡片中描述了輸入數據預處理和後續評估情況。
- 錯誤信息和濫用：VLMs可能被濫用來生成虛假、誤導或有害的文本。提供了負責任使用模型的指南，請參閱Responsible Generative AI Toolkit。
- 透明度和問責制：本模型卡片總結了模型的架構、能力、限制和評估過程的詳細信息。一個負責任開發的開放模型為開發者和研究人員提供了分享創新的機會，使VLM技術更易於訪問。
已識別的風險和緩解措施
- 偏差的延續：鼓勵在模型訓練、微調及其他用例中進行持續監測（使用評估指標、人工審查）並探索去偏差技術。
- 有害內容的生成：內容安全機制和指南至關重要。鼓勵開發者根據其特定產品政策和應用用例謹慎行事並實施適當的內容安全保障措施。
- 惡意用途：技術限制以及對開發者和最終用戶的教育有助於減輕LLMs的惡意應用。提供了教育資源和用戶舉報濫用的機制，請參閱Responsible Generative AI Toolkit。Gemma模型的禁止使用情況在Gemma禁止使用政策中列出。
- 隱私侵犯：模型在過濾了某些個人信息和敏感數據的數據集上進行訓練。鼓勵開發者遵守隱私法規並採用隱私保護技術。
限制
- 繼承自Gemma 2的限制：大多數從底層Gemma 2模型繼承的限制仍然適用。VLMs在可以用明確提示和說明構建的任務上表現更好。開放式或高度複雜的任務可能具有挑戰性。自然語言本質上很複雜，VLMs可能難以理解微妙的細微差別、諷刺或比喻語言。VLMs根據從訓練數據集中學到的信息生成響應，但它們不是知識庫，可能會生成不正確或過時的事實陳述。VLMs依賴於語言和圖像中的統計模式，在某些情況下可能缺乏應用常識推理的能力。
- 預訓練模型的侷限性：PaliGemma 2首先是作為通用預訓練模型設計的，用於微調至特定任務。因此，其“開箱即用”或“零樣本”性能可能落後於專門為通用用途設計的模型。
- 單輪交互：PaliGemma 2不是多輪聊天機器人，它設計用於單輪圖像和文本輸入。
🔧 技術細節
模型架構
PaliGemma 2由Transformer解碼器和視覺Transformer圖像編碼器組成，文本解碼器從Gemma 2初始化，圖像編碼器從SigLIP - So400m/14初始化，訓練方法遵循PaLI - 3。
預訓練數據集
使用了WebLI、CC3M - 35L、VQ²A - CC3M - 35L/VQG - CC3M - 35L、OpenImages和WIT等數據集，並對WebLI進行了數據責任過濾。
訓練硬件和軟件
使用TPUv5e硬件，結合JAX、Flax、TFDS和big_vision軟件進行訓練。
📄 許可證
本模型基於Gemma許可證發佈。
引用
@article{
title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
year={2024},
journal={arXiv preprint arXiv:2412.03555}
}
Clip Vit Large Patch14 336
基於Vision Transformer架構的大規模視覺語言預訓練模型，支持圖像與文本的跨模態理解
文本生成圖像
Transformers
TransformersC
openai
5.9M
241
Fashion Clip
MIT
FashionCLIP是基於CLIP開發的視覺語言模型，專門針對時尚領域進行微調，能夠生成通用產品表徵。
文本生成圖像 Transformers 英語
Transformers 英語F
patrickjohncyh
3.8M
222
Gemma 3 1b It
Gemma 3是Google推出的輕量級先進開放模型系列，基於與Gemini模型相同的研究和技術構建。該模型是多模態模型，能夠處理文本和圖像輸入並生成文本輸出。
文本生成圖像 Transformers
TransformersG
google
2.1M
347
Blip Vqa Base
Bsd-3-clause
BLIP是一個統一的視覺語言預訓練框架，擅長視覺問答任務，通過語言-圖像聯合訓練實現多模態理解與生成能力
文本生成圖像 Transformers
TransformersB
Salesforce
1.9M
154
CLIP ViT H 14 Laion2b S32b B79k
MIT
基於OpenCLIP框架在LAION-2B英文數據集上訓練的視覺-語言模型，支持零樣本圖像分類和跨模態檢索任務
文本生成圖像
Safetensors
SafetensorsC
laion
1.8M
368
CLIP ViT B 32 Laion2b S34b B79k
MIT
基於OpenCLIP框架在LAION-2B英語子集上訓練的視覺-語言模型，支持零樣本圖像分類和跨模態檢索
文本生成圖像 Safetensors
SafetensorsC
laion
1.1M
112
Pickscore V1
PickScore v1 是一個針對文本生成圖像的評分函數，可用於預測人類偏好、評估模型性能和圖像排序等任務。
文本生成圖像 Transformers
TransformersP
yuvalkirstain
1.1M
44
Owlv2 Base Patch16 Ensemble
Apache-2.0
OWLv2是一種零樣本文本條件目標檢測模型，可通過文本查詢在圖像中定位對象。
文本生成圖像 Transformers
TransformersO
google
932.80k
99
Llama 3.2 11B Vision Instruct
Llama 3.2 是 Meta 發佈的多語言多模態大型語言模型，支持圖像文本到文本的轉換任務，具備強大的跨模態理解能力。
文本生成圖像 Transformers 支持多種語言
Transformers 支持多種語言L
meta-llama
784.19k
1,424
Owlvit Base Patch32
Apache-2.0
OWL-ViT是一個零樣本文本條件目標檢測模型，可以通過文本查詢搜索圖像中的對象，無需特定類別的訓練數據。
文本生成圖像 Transformers
TransformersO
google
764.95k
129
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型，性能媲美GPT-3.5-turbo，優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型 Transformers 支持多種語言
Transformers 支持多種語言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型，專為邊緣設備推理設計，體積僅為Cosmo-3B模型的2%左右。
對話系統 Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型，適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98