Ppo Pendulum V1

🚀 PPO

このプロジェクトは、stable-baselines3ライブラリ と RL Zoo を使用して、Pendulum-v1 環境で訓練された PPO エージェントのモデルです。RL Zooは、Stable Baselines3の強化学習エージェントの訓練フレームワークで、ハイパーパラメータの最適化と事前訓練済みのエージェントが含まれています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

📦 インストール

必要なライブラリとモデルをダウンロードするには、以下のコマンドを実行します。

# モデルをダウンロードしてlogs/フォルダに保存する
python -m utils.load_from_hub --algo ppo --env Pendulum-v1 -orga ernestumorga -f logs/
python enjoy.py --algo ppo --env Pendulum-v1  -f logs/

💻 使用例

基本的な使用法

# モデルをダウンロードしてlogs/フォルダに保存する
python -m utils.load_from_hub --algo ppo --env Pendulum-v1 -orga ernestumorga -f logs/
python enjoy.py --algo ppo --env Pendulum-v1  -f logs/

高度な使用法

# モデルを訓練してアップロードする
python train.py --algo ppo --env Pendulum-v1 -f logs/
# モデルをアップロードしてビデオを生成する（可能な場合）
python -m utils.push_to_hub --algo ppo --env Pendulum-v1 -f logs/ -orga ernestumorga

🔧 技術詳細

ハイパーパラメータ

OrderedDict([('clip_range', 0.2),
             ('ent_coef', 0.0),
             ('gae_lambda', 0.95),
             ('gamma', 0.9),
             ('learning_rate', 0.001),
             ('n_envs', 4),
             ('n_epochs', 10),
             ('n_steps', 1024),
             ('n_timesteps', 100000.0),
             ('policy', 'MlpPolicy'),
             ('sde_sample_freq', 4),
             ('use_sde', True),
             ('normalize', False)])

モデルの性能