Minivla Wrist Vq Libero90 Prismatic

🚀 MiniVLA 1B Wrist VQ (Prismatic互換バージョン)

MiniVLA 1B Wrist VQは、画像とテキストを入力としてテキストを出力するマルチモーダルな事前学習済みモデルです。このチェックポイントは、元のPrismatic VLMsプロジェクトのコードベースのトレーニングスクリプトと互換性のある形式です。OpenVLAチームはこのコードベースをベースにOpenVLAモデルを開発しています。

✨ 主な機能

このPrismatic互換チェックポイントは、Prismatic VLMsのトレーニングスクリプトを使用して、MiniVLA（全10億パラメータ）をネイティブのPyTorch Fully Sharded Data Parallel (FSDP) を介して完全にファインチューニングする場合に役立ちます。代わりにLoRAを介してパラメータ効率的なファインチューニングを行いたい場合は、上記のMiniVLAチェックポイントを使用できます。これはHugging Faceのtransformersライブラリと互換性があります。10億パラメータのモデルを完全にファインチューニングするのに十分なコンピューティングリソースがない場合（例えば、複数のA100/H100 GPU）は、LoRAを介したファインチューニングをお勧めします。

📚 ドキュメント

使用方法

このチェックポイントを完全にファインチューニングする方法については、MiniVLA GitHubのREADMEを参照してください。

引用

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: A Better VLA with a Smaller Footprint},
    author={Suneel Belkhale and Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
} 

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。