Openvla 7b Finetuned Libero Object

🚀 OpenVLA 7B在LIBERO-Object上的微調版本

該模型基於OpenVLA 7B模型，通過LoRA（r = 32）在LIBERO模擬基準的LIBERO-Object數據集上進行微調得到，可用於圖像文本到文本的多模態處理，在機器人領域有應用價值。

🚀 快速開始

本模型是通過LoRA（r=32）在LIBERO模擬基準的LIBERO-Object數據集上對OpenVLA 7B模型進行微調得到的。為了提高最終性能，我們對訓練數據集做了一些修改（詳情見OpenVLA論文）。

🔧 技術細節

以下是我們在所有LIBERO實驗中使用的超參數：

• 硬件：8塊顯存為80GB的A100 GPU
• 使用LoRA進行微調：use_lora == True，lora_rank == 32，lora_dropout == 0.0
• 學習率：5e - 4
• 批量大小：128（8塊GPU，每塊GPU處理16個樣本）
• 訓練梯度步數：50K
• 訓練和測試時不進行量化
• 無梯度累積（即grad_accumulation_steps == 1）
• shuffle_buffer_size == 100_000
• 圖像增強：隨機裁剪、顏色抖動（詳情見訓練代碼）

📚 詳細文檔

有關如何在LIBERO模擬器中運行和評估此模型的說明，請參閱OpenVLA GitHub README。

📄 許可證

本項目採用MIT許可證。

📚 引用信息

BibTeX:

@article{kim24openvla,
    title={OpenVLA: An Open-Source Vision-Language-Action Model},
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
    journal = {arXiv preprint arXiv:2406.09246},
    year={2024}
}