Minivla Libero90 Prismatic

🚀 MiniVLA 1B（Prismatic兼容版本）

MiniVLA 1B（Prismatic兼容版本）是一個適用於圖像文本轉換的多模態預訓練模型。該模型的檢查點格式與原始 Prismatic VLMs項目代碼庫 的訓練腳本兼容，OpenVLA團隊在此基礎上開發了OpenVLA模型。此版本可幫助用戶通過原生PyTorch的全分片數據並行（FSDP）對MiniVLA進行全參數微調。

✨ 主要特性

• 格式兼容：檢查點格式與Prismatic VLMs項目代碼庫的訓練腳本兼容，方便用戶使用。
• 微調靈活：支持全參數微調（FSDP）和基於LoRA的參數高效微調兩種方式。
• 多模態處理：適用於圖像文本轉換任務，具有多模態處理能力。

🚀 快速開始

若你希望通過原生PyTorch的全分片數據並行（FSDP）對MiniVLA（所有10億個參數）進行 全參數微調，可以使用此Prismatic兼容的檢查點。若你想通過LoRA進行參數高效微調，可以使用上面鏈接的MiniVLA檢查點，該檢查點與Hugging Face的 transformers 庫兼容。如果你沒有足夠的計算資源來全量微調一個10億參數的模型（例如，多個A100/H100 GPU），我們建議通過LoRA進行微調。

📚 詳細文檔

使用說明

有關如何使用此檢查點進行全參數微調的說明，請參閱 MiniVLA GitHub README。

引用信息

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: A Better VLA with a Smaller Footprint},
    author={Suneel Belkhale and Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
} 

📄 許可證

本項目採用MIT許可證。