Sciworld MPO

🚀 SciWorld-MPO

このモデルは、sciworld-metaplan-preference-pairs データセットでLlama-3.1-8B-Instructをファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています：

• 損失: 1.5017
• 報酬/選択: -3.8774
• 報酬/拒否: -5.1594
• 報酬/正解率: 0.6419
• 報酬/マージン: 1.2820
• 対数尤度/選択: -92.4593
• 対数尤度/拒否: -109.6343
• ロジット/選択: 0.5212
• ロジット/拒否: 0.5151

詳細は元の論文を参照してください：MPO: Boosting LLM Agents with Meta Plan Optimization。

コード: https://github.com/WeiminXiong/MPO

📚 ドキュメント

モデルの説明

このモデルは、Meta Plan Optimization (MPO) を使用してLLMエージェントの計画能力を向上させています。メタプランを通じた高レベルな一般的なガイダンスを活用し、エージェントのタスク実行からのフィードバックに基づいて継続的な最適化を可能にします。ALFWorldとSciWorldで最先端の性能を達成し、平均精度は83.1です。

想定される用途と制限

詳細情報は後日提供予定です。

トレーニングと評価データ

このモデルは、Meta_Plan_Optimization データセットの一部である sciworld-metaplan-preference-pairs データセットでトレーニングされました。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました：

• learning_rate: 1e-05
• train_batch_size: 2
• eval_batch_size: 1
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• total_eval_batch_size: 4
• optimizer: betas=(0.9,0.999) かつ epsilon=1e-08 の adamw_torch を使用。追加のオプティマイザ引数はなし
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 3.0

トレーニング結果

詳細情報は後日提供予定です。

フレームワークバージョン

• Transformers 4.46.1
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📋 情報テーブル