Openvision Vit So400m Patch14 224

🚀 OpenVision模型項目

OpenVision是一個完全開源且經濟高效的先進視覺編碼器系列，專為多模態學習設計。該項目填補了現有視覺編碼器在開放性方面的空白，在多模態框架中表現出色，為從業者在構建多模態模型時提供了容量和效率之間的靈活權衡。

🚀 快速開始

本倉庫包含OpenVision模型，這是一個完全開源且經濟高效的先進視覺編碼器系列，用於多模態學習，相關內容在論文 OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning 中有詳細描述。

項目摘要

2021年初發布的OpenAI的CLIP，長期以來一直是構建多模態基礎模型時視覺編碼器的首選。儘管最近出現的SigLIP等替代方案開始挑戰這一現狀，但據我們所知，它們都並非完全開源：其訓練數據仍然是專有的，並且/或者其訓練方法未被公開。本文提出的OpenVision填補了這一空白，它是一個完全開源且經濟高效的視覺編碼器系列，當集成到像LLaVA這樣的多模態框架中時，其性能可與或超越OpenAI的CLIP。OpenVision基於現有工作構建，例如使用CLIPS作為訓練框架，使用Recap - DataComp - 1B作為訓練數據，同時揭示了提高編碼器質量的多個關鍵見解，並展示了推進多模態模型的實際益處。通過發佈參數範圍從590萬到6.321億的視覺編碼器，OpenVision為從業者在構建多模態模型時提供了容量和效率之間的靈活權衡：較大的模型可提供增強的多模態性能，而較小的版本則支持輕量級、適用於邊緣設備的多模態部署。

項目頁面

https://ucsc - vlaa.github.io/OpenVision

代碼倉庫

https://github.com/UCSC - VLAA/OpenVision

📄 許可證

本項目採用Apache - 2.0許可證。