Openvla 7b Prismatic

🚀 OpenVLA 7B（兼容 Prismatic 版本）

OpenVLA 7B（兼容 Prismatic 版本）是一個多模態的圖像 - 文本到文本模型，可應用於機器人技術等領域。此版本與原始 Prismatic VLMs 項目代碼庫 的訓練腳本兼容，為模型的全量微調提供了便利。

🚀 快速開始

這一版本的模型與 OpenVLA 7B 模型 本質相同，區別在於該檢查點的格式與原始 Prismatic VLMs 項目代碼庫 的訓練腳本兼容，OpenVLA 團隊正是基於此代碼庫開發了 OpenVLA 模型。OpenVLA 7B 模型的詳細信息請見：https://huggingface.co/openvla/openvla-7b。

如果你希望通過原生 PyTorch 全分片數據並行（FSDP），使用 Prismatic VLMs 訓練腳本對 OpenVLA 進行 全量微調（全部 75 億參數），那麼這個與 Prismatic 兼容的檢查點會很有用。如果你想通過 LoRA 進行參數高效微調，可以使用上面鏈接的 OpenVLA 檢查點，它與 Hugging Face 的 transformers 庫兼容。如果沒有足夠的計算資源來全量微調一個 70 億參數的模型（例如，多個 A100/H100 GPU），我們建議通過 LoRA 進行微調。

📚 詳細文檔

關於如何使用此檢查點進行全量微調的說明，請參閱 OpenVLA GitHub 自述文件。

📄 許可證

本項目採用 MIT 許可證。

📖 引用

如果你使用了該模型，請按照以下格式引用： BibTeX:

@article{kim24openvla,
    title={OpenVLA: An Open-Source Vision-Language-Action Model},
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
    journal = {arXiv preprint arXiv:2406.09246},
    year={2024}
} 

信息表格