Tinyagent ToolRAG

🚀 TinyAgent：邊緣端的函數調用

TinyAgent旨在讓小型語言模型（SLMs）具備複雜推理和函數調用能力，這些模型可以在邊緣端安全、私密地部署。傳統的大語言模型（LLMs），如GPT - 4和Gemini - 1.5，雖然功能強大，但通常體積過大且資源消耗高，難以在邊緣端部署，在隱私、連接性和延遲方面帶來挑戰。TinyAgent通過使用高質量的精選數據訓練專門的SLM，並藉助LLMCompiler專注於函數調用，解決了這些問題。作為一個實際應用，TinyAgent可以與各種MacOS應用程序交互，幫助用戶完成日常任務，如撰寫電子郵件、管理聯繫人、安排日曆事件和組織Zoom會議。

獲取桌面應用‎ ‎ | 閱讀博客文章

當面對具有挑戰性的任務時，SLM代理需要合適的工具和上下文示例來引導。如果模型看到不相關的示例，可能會產生幻覺。同樣，如果模型看到它不需要的工具描述，通常會感到困惑，而且這些工具會佔用不必要的提示空間。為了解決這個問題，TinyAgent使用ToolRAG來檢索最適合給定查詢的工具和示例。這個過程的延遲極小，並顯著提高了TinyAgent的準確性。更多詳細信息，請查看我們的博客文章。

🚀 快速開始

你可以通過以下方式快速瞭解和使用TinyAgent：

• 獲取桌面應用：點擊這裡獲取桌面應用。
• 閱讀博客文章：點擊這裡閱讀詳細的博客文章。

✨ 主要特性

• 邊緣端部署：能夠在邊緣端安全、私密地部署小型語言模型，解決傳統大語言模型在邊緣端部署的難題。
• 函數調用能力：通過訓練和使用LLMCompiler，讓小型語言模型具備複雜推理和函數調用能力。
• ToolRAG工具：使用ToolRAG檢索最適合的工具和示例，減少延遲並提高準確性。
• 多應用交互：可以與各種MacOS應用程序交互，幫助用戶完成日常任務。

📚 詳細文檔

模型開發者

加州大學伯克利分校的Squeeze AI實驗室。

模型變體

TinyAgent模型有兩種尺寸：TinyAgent - 1.1B和TinyAgent - 7B。

許可證

本項目採用MIT許可證。

演示

點擊下面的圖片觀看演示視頻：

使用方法

有關如何使用TinyAgent模型的詳細信息，請參閱我們的GitHub倉庫。TinyAgent模型可以通過編程方式或我們的用戶界面使用。

訓練細節

數據集

我們精心策劃了一個包含40,000個實際用例的數據集。我們使用GPT - 3.5 - Turbo生成真實世界的指令，然後使用GPT - 4 - Turbo獲取合成執行計劃。有關我們數據集的更多詳細信息，請查看我們的博客文章。

微調過程

TinyAgent模型是從基礎模型進行微調得到的。以下是每個TinyAgent模型及其對應的基礎模型的表格：

使用上述合成數據生成過程，我們使用基於LoRA的參數高效微調方法對基礎模型進行3個週期的微調。有關我們微調過程的更多詳細信息，請查看我們的博客文章。

🔗 相關鏈接

• 博客文章：[https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)
• GitHub倉庫：https://github.com/SqueezeAILab/TinyAgent