Tinyagent ToolRAG

🚀 TinyAgent: エッジでの関数呼び出し

TinyAgentは、エッジで安全かつプライベートにデプロイできる小型言語モデル（SLM）に、複雑な推論と関数呼び出し機能を実現することを目指しています。GPT - 4やGemini - 1.5などの従来の大規模言語モデル（LLM）は強力ですが、エッジデプロイには大きすぎてリソースを大量に消費し、プライバシー、接続性、レイテンシーの面で課題があります。TinyAgentは、高品質で精選されたデータで特殊なSLMを学習させ、LLMCompilerを用いた関数呼び出しに焦点を当てることで、これらの課題を解決します。代表的なアプリケーションとして、TinyAgentは様々なMacOSアプリケーションと対話し、メールの作成、連絡先の管理、カレンダーイベントのスケジューリング、Zoom会議の組織などの日常的なタスクをユーザーに支援します。

デスクトップアプリを入手‎ ‎ | ブログ記事を読む

難しいタスクに直面したとき、SLMエージェントは適切なツールと文脈内の例が必要です。モデルが関係のない例を見ると、幻覚を起こすことがあります。同様に、モデルが必要のないツールの説明を見ると、混乱しやすく、これらのツールは不必要なプロンプトスペースを占有します。この問題を解決するために、TinyAgentはToolRAGを使って、与えられたクエリに適した最適なツールと例を取得します。このプロセスはレイテンシーが最小限で、TinyAgentの精度を大幅に向上させます。詳細については、ブログ記事をご覧ください。

✨ 主な機能

• TinyAgentは、エッジでのデプロイに適した小型言語モデルに複雑な推論と関数呼び出し機能を提供します。
• ToolRAGを使用して、与えられたクエリに最適なツールと例を取得し、精度を向上させます。
• MacOSアプリケーションとの対話を通じて、ユーザーの日常的なタスクを支援します。

📦 インストール

TinyAgentモデルの使用方法の詳細については、Githubをご覧ください。TinyAgentモデルはプログラムで使用することも、ユーザーインターフェースを通じて使用することもできます。

💻 使用例

TinyAgentモデルの使用方法の詳細については、Githubを参照してください。

📚 ドキュメント

モデル開発者

カリフォルニア大学バークレー校のSqueeze AI Lab

バリエーション

TinyAgentモデルには2種類のサイズがあります：TinyAgent - 1.1BとTinyAgent - 7B

トレーニング詳細

データセット

私たちは、40,000の実生活でのユースケースを収集した[データセット](https://huggingface.co/datasets/squeeze - ai - lab/TinyAgent - dataset)を作成しました。GPT - 3.5 - Turboを使って現実世界の命令を生成し、これを使ってGPT - 4 - Turboで合成実行計画を取得します。データセットの詳細については、[ブログ記事](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)をご覧ください。

ファインチューニング手順

TinyAgentモデルはベースモデルからファインチューニングされます。以下は、各TinyAgentモデルとそのベースモデルの表です。

上記の合成データ生成プロセスを使用して、LoRAを用いたパラメータ効率的なファインチューニングで、ベースモデルを3エポックでファインチューニングします。ファインチューニング手順の詳細については、[ブログ記事](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)をご覧ください。

🔗 リンク

• ブログ記事: https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/
• Github: https://github.com/SqueezeAILab/TinyAgent

📄 ライセンス

MITライセンスの下で提供されています。

🎥 デモ