Codeactagent Mistral 7b V0.1

🚀 実行可能なコードアクションによる高性能LLMエージェントの実現

本プロジェクトでは、実行可能なPythonのコードを用いて、LLMエージェントのアクションを統一されたアクション空間（CodeAct）にまとめる手法を提案しています。Pythonインタープリターと統合することで、CodeActはコードアクションを実行し、多ターンの対話を通じて新しい観測結果（例：コード実行結果）に基づいて以前のアクションを動的に修正したり、新しいアクションを発行したりすることができます。

💻 コード • 📃 論文 • 🤗 データ (CodeActInstruct) • 🤗 モデル (CodeActAgent-Mistral-7b-v0.1) • 🤖 CodeActAgentでチャット！

🚀 クイックスタート

本プロジェクトでは、実行可能なPythonコードを用いてLLMエージェントのアクションを統一的に管理するCodeActという手法を提案しています。以下に、本手法の概要や特徴を紹介します。

✨ 主な機能

なぜCodeActなのか？

API-Bank上の17のLLMと新たに作成したベンチマーク M³ToolEval を用いた広範な分析により、CodeActはTextやJSONなどの一般的な代替手法を上回る性能を発揮することが示されています（成功率が最大20%高い）。詳細な分析については、論文を参照してください！

アクションとしてのCodeActとText / JSONの比較

M³ToolEvalにおけるCodeActと {Text, JSON} の定量的比較結果

📁 CodeActInstruct

CodeActを用いた7kの多ターン対話から構成される命令微調整用データセットCodeActInstructを収集しました。このデータセットは huggingface dataset 🤗 で公開されています。データ収集の詳細については、論文と このセクション を参照してください。

データセットの統計情報。トークン統計はLlama-2トークナイザーを用いて計算されています。

🪄 CodeActAgent

CodeActInstruct と一般的な会話データで学習された CodeActAgent は、同サイズのオープンソースモデルと比較して、ドメイン外のエージェントタスクで優れた性能を発揮し、一般的な性能（例：知識、対話能力）も犠牲にしません。CodeActAgentの2つのバリアントを公開しています。

• CodeActAgent-Mistral-7b-v0.1 (推奨, モデルリンク): 32kのコンテキストウィンドウを持つMistral-7b-v0.1をベースモデルとして使用。
• CodeActAgent-Llama-7b (モデルリンク): 4kのコンテキストウィンドウを持つLlama-2-7bをベースモデルとして使用。

CodeActAgentの評価結果。IDとODはそれぞれドメイン内評価とドメイン外評価を表します。全体的な平均性能は、MT-Benchスコアを他のタスクと一致するように正規化し、公平な比較のためにドメイン内タスクを除外しています。

データ収集、モデル学習、評価の詳細については、論文 と コード を参照してください。

📚 引用

@misc{wang2024executable,
      title={Executable Code Actions Elicit Better LLM Agents}, 
      author={Xingyao Wang and Yangyi Chen and Lifan Yuan and Yizhe Zhang and Yunzhu Li and Hao Peng and Heng Ji},
      year={2024},
      eprint={2402.01030},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。