Openvla 7b Prismatic

🚀 OpenVLA 7B（兼容 Prismatic 版本）

OpenVLA 7B（兼容 Prismatic 版本）是一个多模态的图像 - 文本到文本模型，可应用于机器人技术等领域。此版本与原始 Prismatic VLMs 项目代码库 的训练脚本兼容，为模型的全量微调提供了便利。

🚀 快速开始

这一版本的模型与 OpenVLA 7B 模型 本质相同，区别在于该检查点的格式与原始 Prismatic VLMs 项目代码库 的训练脚本兼容，OpenVLA 团队正是基于此代码库开发了 OpenVLA 模型。OpenVLA 7B 模型的详细信息请见：https://huggingface.co/openvla/openvla-7b。

如果你希望通过原生 PyTorch 全分片数据并行（FSDP），使用 Prismatic VLMs 训练脚本对 OpenVLA 进行 全量微调（全部 75 亿参数），那么这个与 Prismatic 兼容的检查点会很有用。如果你想通过 LoRA 进行参数高效微调，可以使用上面链接的 OpenVLA 检查点，它与 Hugging Face 的 transformers 库兼容。如果没有足够的计算资源来全量微调一个 70 亿参数的模型（例如，多个 A100/H100 GPU），我们建议通过 LoRA 进行微调。

📚 详细文档

关于如何使用此检查点进行全量微调的说明，请参阅 OpenVLA GitHub 自述文件。

📄 许可证

本项目采用 MIT 许可证。

📖 引用

如果你使用了该模型，请按照以下格式引用： BibTeX:

@article{kim24openvla,
    title={OpenVLA: An Open-Source Vision-Language-Action Model},
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
    journal = {arXiv preprint arXiv:2406.09246},
    year={2024}
} 

信息表格