Openvision Vit So400m Patch14 224

🚀 OpenVision

このリポジトリには、多モーダル学習向けの完全にオープンで費用対効果の高い高度なビジョンエンコーダーのファミリーであるOpenVisionモデルが含まれています。

🚀 クイックスタート

このリポジトリには、論文 OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning で説明されている、多モーダル学習向けの完全にオープンで費用対効果の高い高度なビジョンエンコーダーのファミリーであるOpenVisionモデルが含まれています。

概要:

2021年初頭にリリースされたOpenAIのCLIPは、長い間、多モーダル基盤モデルを構築する際のビジョンエンコーダーの第一選択肢でした。最近、SigLIPなどの代替案がこの現状に挑戦し始めていますが、私たちの知る限り、完全にオープンなものはありません。それらのトレーニングデータは独自のものであり、かつ/またはトレーニングレシピが公開されていません。この論文では、OpenVisionという完全にオープンで費用対効果の高いビジョンエンコーダーのファミリーを提案することでこの空白を埋めています。OpenVisionは、LLaVAのような多モーダルフレームワークに統合された場合、OpenAIのCLIPの性能と同等またはそれを上回ります。OpenVisionは既存の研究（例えば、トレーニングフレームワークとしてのCLIPSやトレーニングデータとしてのRecap - DataComp - 1B）に基づいており、エンコーダーの品質を向上させるための複数の重要な知見を明らかにし、多モーダルモデルの進歩における実用的な利点を示しています。590万から6億3210万のパラメータを持つビジョンエンコーダーを公開することで、OpenVisionは実践者に多モーダルモデルを構築する際の容量と効率の柔軟なトレードオフを提供します。大きなモデルはより高い多モーダル性能を提供し、小さなバージョンは軽量でエッジ対応の多モーダルデプロイメントを可能にします。

プロジェクトページ: https://ucsc-vlaa.github.io/OpenVision

コード: https://github.com/UCSC-VLAA/OpenVision

📄 ライセンス

Apache-2.0ライセンスの下で提供されています。