Tinyagent 1.1B

🚀 TinyAgent: エッジでの関数呼び出し

TinyAgentは、エッジで安全かつプライベートにデプロイできる小型言語モデル（SLM）に、複雑な推論と関数呼び出し機能を持たせることを目指しています。GPT - 4やGemini - 1.5などの従来の大規模言語モデル（LLM）は強力ですが、エッジデプロイには大きすぎてリソースを大量に消費し、プライバシー、接続性、レイテンシーの面で課題があります。TinyAgentは、高品質で精選されたデータで特殊なSLMを学習させ、LLMCompilerを用いた関数呼び出しに焦点を当てることで、これらの課題を解決します。代表的なアプリケーションとして、TinyAgentは様々なMacOSアプリケーションと対話し、メールの作成、連絡先の管理、カレンダーイベントの予定、Zoom会議の整理などの日常的なタスクをユーザーに支援します。

デスクトップアプリを入手‎ ‎ | ブログ記事を読む

モデル開発者: カリフォルニア大学バークレー校のSqueeze AI Lab

バリエーション: TinyAgentモデルには2つのサイズがあります: TinyAgent - 1.1BとTinyAgent - 7B

ライセンス: MIT

🚀 クイックスタート

デモ

使い方

TinyAgentモデルの使用方法の詳細については、Githubを参照してください。TinyAgentモデルは、プログラム的に使用することも、ユーザーインターフェースを通じて使用することもできます。

🔧 技術詳細

学習詳細

データセット: 私たちは、40,000の実生活での使用例からなるデータセットを作成しました。GPT - 3.5 - Turboを使用して現実世界の命令を生成し、それを用いてGPT - 4 - Turboで合成実行計画を取得します。データセットの詳細については、ブログ記事をご覧ください。

ファインチューニング手順: TinyAgentモデルはベースモデルからファインチューニングされます。以下は、各TinyAgentモデルとそのベースモデルの表です。

上記の合成データ生成プロセスを使用して、LoRAを用いたパラメータ効率的なファインチューニングを3エポック行います。ファインチューニング手順の詳細については、(ブログ記事)[https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/]をご覧ください。

🛠️ ToolRAG

難しいタスクに直面したとき、SLMエージェントは適切なツールとコンテキスト内の例が必要です。モデルが関係のない例を見ると、幻覚を起こすことがあります。同様に、モデルが必要のないツールの説明を見ると、通常混乱し、これらのツールが不要なプロンプトスペースを占有します。これを解決するために、TinyAgentはToolRAGを使用して、与えられたクエリに最適なツールと例を取得します。このプロセスはレイテンシーが最小限であり、TinyAgentの精度を大幅に向上させます。詳細については、(ブログ記事)[https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/]と[ToolRAGモデル](https://huggingface.co/squeeze - ai - lab/TinyAgent - ToolRAG)をご覧ください。

📚 リンク

ブログ記事: https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/

Github: https://github.com/SqueezeAILab/TinyAgent

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。