Openvla 7b Finetuned Libero 10

🚀 OpenVLA 7B在LIBERO - 10（LIBERO - Long）上的微調模型

本模型是通過LoRA（r = 32）在來自LIBERO仿真基準的LIBERO - 10（LIBERO - Long）數據集上對OpenVLA 7B模型進行微調得到的。為了提高最終性能，我們對訓練數據集做了一些修改（詳情請參閱OpenVLA論文）。

🚀 快速開始

本模型是基於特定數據集對OpenVLA 7B模型微調而來，可用於圖像文本到文本的多模態任務，在機器人領域有一定應用價值。

✨ 主要特性

• 基於OpenVLA 7B模型進行微調，結合了LoRA技術。
• 適用於LIBERO - 10（LIBERO - Long）數據集，在相關任務上有較好表現。

📦 安裝指南

文檔未提供安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

超參數詳情

以下是我們在所有LIBERO實驗中使用的超參數：

• 硬件：8塊顯存為80GB的A100 GPU
• 使用LoRA進行微調：use_lora == True，lora_rank == 32，lora_dropout == 0.0
• 學習率：5e - 4
• 批量大小：128（8塊GPU，每塊GPU 16個樣本）
• 訓練梯度步數：80K
• 訓練和測試時不進行量化
• 無梯度累積（即grad_accumulation_steps == 1）
• shuffle_buffer_size == 100_000
• 圖像增強：隨機裁剪、顏色抖動（詳情請參閱訓練代碼）

使用說明

有關如何在LIBERO模擬器中運行和評估此模型的說明，請參閱OpenVLA GitHub README。

🔧 技術細節

本模型通過在LIBERO - 10（LIBERO - Long）數據集上對OpenVLA 7B模型進行微調得到。使用LoRA技術（r = 32），並對訓練數據集進行了修改以提升性能。在訓練過程中，使用了特定的超參數組合，如特定的學習率、批量大小等，且在訓練和測試時不進行量化，無梯度累積。

📄 許可證

本模型使用的許可證為MIT許可證。

📚 引用

BibTeX:

@article{kim24openvla,
    title={OpenVLA: An Open-Source Vision-Language-Action Model},
    author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
    journal = {arXiv preprint arXiv:2406.09246},
    year={2024}
}