ML Agents SnowballFight 1vs1

🚀 スノーボールファイト ☃️

Hugging FaceによるML-Agents用のマルチエージェント環境

このプロジェクトは、Unity ML-Agents Toolkitを使用したマルチエージェント環境で、2つのエージェントが1対1のスノーボールファイトゲームで競い合います。

🚀 クイックスタート

スノーボールファイトは、Unity ML-Agents Toolkitを用いたマルチエージェント環境です。ここでは、2つのエージェントが1対1のスノーボールファイトゲームで競い合います。

👉 このリンク からオンラインで遊ぶことができます。

⚠️ 重要提示

この環境を使用するには、ML-Agentsに関する知識が必要です。必要な知識がない場合は、ドキュメント を確認してください。

✨ 主な機能

環境の概要

• 2つのエージェントが 1対1のスノーボールファイトゲーム で競い合います。
• 目標は、敵チームを攻撃する一方で、敵のスノーボールを避けること です❄️。

観測空間

• レイキャスト:

  • 前方10本のレイキャスト（100度に分散）: 敵を検出します。
  • 前方10本のレイキャスト（100度に分散）: 壁、避難所、境界を検出します。
  • 前方10本のレイキャスト（100度に分散）: スノーボールを検出します。
  • 後方3本のレイキャスト（45度に分散）: 壁と避難所を検出します。

• ベクトル観測:

  • Bool canShoot（2秒ごとにスノーボールを投げることができます）。
  • Float currentHealth: 正規化 [0, 1]
  • Vector3 垂直速度
  • Vector3 水平速度
  • Vector3 "home" 位置

行動空間（離散）

• ベクトル行動空間:
  • 4つの分岐行動 があり、前進、後退、横移動、回転、およびスノーボールの投擲に対応しています。

エージェントの報酬関数（依存）

• チームが 負傷した場合:
  • 射手に0.1の報酬が与えられます。
• チームが 死亡した場合:
  • (1 - 累積時間ペナルティ): スノーボールが敵に当たると、累積時間ペナルティは固定更新ごとに (1 / MaxStep) 減少し、エピソードの開始時に0にリセットされます。
  • (-1) スノーボールが自チームに当たった場合。

補足事項

• 味方への攻撃はない ため、エージェントは自分自身を攻撃することはできません。将来的に2対2のゲームでも、味方を攻撃することはできません。

📦 インストール

環境のセットアップ

1. このプロジェクトをクローンします git clone https://huggingface.co/ThomasSimonini/ML-Agents-SnowballFight-1vs1
2. Unity Hubを開き、新しい3Dプロジェクトを作成します。
3. クローンしたプロジェクトフォルダ内で、.\ML-Agents-SnowballFight-1vs1\packages を開き、manifest.json と package.lock.json をコピーします。
4. これら2つのファイルを Your Unity Project\Packages に貼り付けます => これにより、必要なパッケージがインストールされます。
5. SnowballFight-1vs1 のUnityパッケージをあなたのUnityプロジェクトにドロップします。

学習済みエージェントの確認

6. 学習済みエージェントを見たい場合は、Assets\1vs1\Scenes\1vs1_v2_Training を開き、\ML-Agents-SnowballFight-1vs1\saved_model\SnowballFight1vs1-4999988.onnx を BlueAgent と PurpleAgent のモデルに配置します。

エージェントの学習

6. 再度学習させたい場合は、シーンは Assets\1vs1\Scenes\1vs1_v2_Training です。

📚 ドキュメント

学習情報

• SnowballFight1vs1 は5100000ステップで学習されました。
• 最終的なELOスコアは1766.452でした。

設定ファイル

behaviors:
  SnowballFight1vs1:
    trainer_type: ppo
    hyperparameters:
      batch_size: 2048
      buffer_size: 20480
      learning_rate: 0.0003
      beta: 0.005
      epsilon: 0.2
      lambd: 0.95
      num_epoch: 3
      learning_rate_schedule: constant
    network_settings:
      normalize: false
      hidden_units: 512
      num_layers: 2
      vis_encode_type: simple
    reward_signals:
      extrinsic:
        gamma: 0.99
        strength: 1.0
    keep_checkpoints: 40
    checkpoint_interval: 200000
    max_steps: 50000000
    time_horizon: 1000
    summary_freq: 50000
    self_play:
      save_steps: 50000
      team_change: 200000
      swap_steps: 2000
      window: 10
      play_against_latest_model_ratio: 0.5
      initial_elo: 1200.0

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。