Minivla Libero90 Prismatic

🚀 MiniVLA 1B (Prismatic互換バージョン)

MiniVLA 1Bは、画像とテキストを入力としてテキストを出力するマルチモーダルな事前学習モデルです。このチェックポイントは、Prismatic VLMsのトレーニングスクリプトと互換性があり、ネイティブのPyTorch Fully Sharded Data Parallel (FSDP) を使用してMiniVLAを完全にファインチューニングするのに役立ちます。

🚀 クイックスタート

このチェックポイントは、元の Prismatic VLMsプロジェクトのコードベース のトレーニングスクリプトと互換性のある形式です。OpenVLAチームは、このコードベースを基にOpenVLAモデルを開発しました。

このPrismatic互換のチェックポイントは、Prismatic VLMsのトレーニングスクリプトを使用して、ネイティブのPyTorch Fully Sharded Data Parallel (FSDP) を介してMiniVLA (全10億個のパラメーター) を完全にファインチューニングしたい場合に役立つ可能性があります。代わりにLoRAを介してパラメータ効率的なファインチューニングを行いたい場合は、上記のリンク先のMiniVLAチェックポイントを使用できます。これはHugging Faceの transformers ライブラリと互換性があります。10億個のパラメーターを持つモデルを完全にファインチューニングするのに十分なコンピューティングリソースがない場合 (例えば、複数のA100/H100 GPUがない場合) は、LoRAを介したファインチューニングをお勧めします。

📚 ドキュメント

使用方法

完全なファインチューニングでこのチェックポイントを使用する方法については、MiniVLA GitHub README を参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

引用

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: A Better VLA with a Smaller Footprint},
    author={Suneel Belkhale and Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
}