Act Aloha Sim Transfer Cube Human

🚀 ACT/AlohaTransferCubeのモデルカード

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardwareに基づくAction Chunking Transformer Policyで、gym-alohaのAlohaTransferCube環境用に学習されたモデルです。

🚀 クイックスタート

このモデルの読み込みと評価方法については、LeRobotライブラリ（特に評価スクリプト）を参照してください。

📚 ドキュメント

学習の詳細

LeRobot@3c0a209を使用して学習されました。

このモデルは、LeRobotの学習スクリプトとaloha_sim_transfer_cube_humanデータセットを使用し、以下のコマンドで学習されました。

python lerobot/scripts/train.py \
    --output_dir=outputs/train/act_aloha_transfer \
    --policy.type=act \
    --dataset.repo_id=lerobot/aloha_sim_transfer_cube_human \
    --env.type=aloha \
    --env.task=AlohaTransferCube-v0 \
    --wandb.enable=true

学習曲線はhttps://wandb.ai/aliberts/lerobot/runs/720l37xb で確認できます。現在のモデルは80kステップのチェックポイントに対応しています。

この学習にはNvida A100で約1時間45分かかりました。

評価

このモデルは、gym-alohaのAlohaTransferCubeタスクで評価され、元のACTリポジトリで学習された類似モデルと比較されました。各エピソードでは、立方体が一方のロボットアームによって成功裏につかまれ、もう一方のロボットアームに移された場合を成功とします。

以下は500エピソード分の評価の成功率結果です。"Theirs"列は、元のACTリポジトリで学習され、LeRobotで評価された同等のモデルの結果です（モデルの重みはこのリポジトリのoriginal_act_repoブランチにあります）。各個別のロールアウトの結果はeval_info.jsonで確認できます。

この評価は以下のコマンドで行われました。

python lerobot/scripts/eval.py \
    --policy.path=outputs/train/act_aloha_transfer/checkpoints/080000/pretrained_model \
    --output_dir=outputs/eval/act_aloha_transfer/080000 \
    --env.type=aloha \
    --env.task=AlohaTransferCube-v0 \
    --eval.n_episodes=500 \
    --eval.batch_size=50 \
    --device=cuda \
    --use_amp=false

元のコードは大幅にリファクタリングされ、途中でいくつかのバグが見つかりました。コードの違いが成功率の差に影響している可能性があります。もう一つの可能性は、シミュレーション環境での成功判定のヒューリスティックがわずかに異なることです（2番目のアームのグリッパーが立方体と反対側の接触をした時点で成功と判定されることが観察されています）。最後に、学習中の評価が学習の終盤に上昇することが観察されます。これについてはさらなる調査が必要かもしれません（統計的に有意ですか？もしそうであれば、原因は何ですか？）。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。