Tinyagent 1.1B

🚀 TinyAgent：邊緣端的函數調用

TinyAgent旨在讓小型語言模型（SLM）具備複雜推理和函數調用能力，這些模型能夠在邊緣端安全、私密地部署。傳統的大語言模型（LLM），如GPT - 4和Gemini - 1.5，雖然功能強大，但通常體積過大且資源消耗高，難以在邊緣端部署，在隱私、連接性和延遲方面帶來諸多挑戰。TinyAgent通過使用高質量的精選數據訓練專門的SLM，並藉助LLMCompiler專注於函數調用，解決了這些問題。作為一個實際應用示例，TinyAgent可以與各種MacOS應用程序交互，幫助用戶完成日常任務，如撰寫電子郵件、管理聯繫人、安排日曆事件和組織Zoom會議。

獲取桌面應用‎ ‎ | 閱讀博客文章

模型開發者：加州大學伯克利分校的Squeeze AI實驗室。

模型變體：TinyAgent模型有兩種尺寸：TinyAgent - 1.1B和TinyAgent - 7B

許可證：MIT

🚀 快速開始

演示

點擊下方圖片觀看TinyAgent演示視頻：

使用方法

有關如何使用TinyAgent模型的詳細信息，請參閱我們的Github。TinyAgent模型可以通過編程方式或我們的用戶界面使用。

📚 詳細文檔

訓練詳情

數據集

我們精心策劃了一個包含40,000個真實用例的數據集。我們使用GPT - 3.5 - Turbo生成真實世界的指令，然後使用GPT - 4 - Turbo獲取合成執行計劃。有關我們數據集的更多詳細信息，請查看我們的博客文章。

微調過程

TinyAgent模型是在基礎模型上進行微調得到的。以下是每個TinyAgent模型及其對應的基礎模型的表格：

使用上述合成數據生成過程，我們使用基於LoRA的參數高效微調方法對基礎模型進行3個輪次的微調。有關我們微調過程的更多詳細信息，請查看我們的博客文章。

🛠️ ToolRAG

當面對具有挑戰性的任務時，SLM代理需要合適的工具和上下文示例來引導它們。如果模型看到不相關的示例，可能會產生幻覺。同樣，如果模型看到它不需要的工具描述，通常會感到困惑，並且這些工具會佔用不必要的提示空間。為了解決這個問題，TinyAgent使用ToolRAG來為給定查詢檢索最合適的工具和示例。這個過程具有極低的延遲，並顯著提高了TinyAgent的準確性。有關更多詳細信息，請查看我們的博客文章和我們的[ToolRAG模型](https://huggingface.co/squeeze - ai - lab/TinyAgent - ToolRAG)。

相關鏈接

• 博客文章：https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/
• Github：https://github.com/SqueezeAILab/TinyAgent