Tinyagent 7B

🚀 TinyAgent：邊緣端的函數調用

TinyAgent旨在賦予小型語言模型（SLM）複雜推理和函數調用能力，使其能夠在邊緣端安全、私密地部署。傳統的大型語言模型（LLM），如GPT - 4和Gemini - 1.5，雖然功能強大，但通常體積過大且資源消耗高，難以在邊緣端部署，在隱私、連接性和延遲方面存在挑戰。TinyAgent通過使用高質量的精選數據訓練專門的SLM，並藉助 LLMCompiler 專注於函數調用，解決了這些問題。作為一個實際應用示例，TinyAgent可以與各種MacOS應用程序交互，幫助用戶完成日常任務，如撰寫電子郵件、管理聯繫人、安排日曆事件和組織Zoom會議。

獲取桌面應用‎ ‎ | 閱讀博客文章

模型開發者：加州大學伯克利分校的Squeeze AI實驗室。

模型變體：TinyAgent模型有兩種大小：TinyAgent - 1.1B和TinyAgent - 7B

許可證：MIT

🚀 快速開始

演示

點擊下方圖片觀看演示視頻：

使用方法

有關如何使用TinyAgent模型的詳細信息，請參閱我們的 GitHub。TinyAgent模型可以通過編程方式或我們的用戶界面使用。

✨ 主要特性

TinyAgent能夠在邊緣端的小型語言模型中實現複雜推理和函數調用能力，解決了傳統大型語言模型在邊緣端部署的難題，同時可以與MacOS應用交互，輔助用戶完成日常任務。

📚 詳細文檔

訓練詳情

數據集

我們精心策劃了一個包含 40,000 個實際用例的 數據集。我們使用GPT - 3.5 - Turbo生成真實世界的指令，然後使用GPT - 4 - Turbo獲取合成執行計劃。有關我們數據集的更多詳細信息，請查看我們的 博客文章。

微調過程

TinyAgent模型是在基礎模型上進行微調得到的。以下是每個TinyAgent模型及其對應的基礎模型的表格：

使用上述合成數據生成過程，我們使用基於LoRA的參數高效微調方法對基礎模型進行3個週期的微調。有關我們微調過程的更多詳細信息，請查看我們的 [博客文章](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)。

🛠️ ToolRAG

當面對具有挑戰性的任務時，小型語言模型代理需要合適的工具和上下文示例來引導。如果模型看到不相關的示例，可能會產生幻覺。同樣，如果模型看到它不需要的工具描述，通常會感到困惑，並且這些工具會佔用不必要的提示空間。為了解決這個問題，TinyAgent使用ToolRAG來為給定查詢檢索最合適的工具和示例。這個過程具有極低的延遲，並顯著提高了TinyAgent的準確性。有關更多詳細信息，請查看我們的 [博客文章](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/) 和我們的 [ToolRAG模型](https://huggingface.co/squeeze - ai - lab/TinyAgent - ToolRAG)。

相關鏈接

• 博客文章：https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/
• GitHub：https://github.com/SqueezeAILab/TinyAgent

📄 許可證

本項目採用MIT許可證。