Tinyagent ToolRAG

🚀 TinyAgent：边缘端的函数调用

TinyAgent旨在让小型语言模型（SLMs）具备复杂推理和函数调用能力，这些模型可以在边缘端安全、私密地部署。传统的大语言模型（LLMs），如GPT - 4和Gemini - 1.5，虽然功能强大，但通常体积过大且资源消耗高，难以在边缘端部署，在隐私、连接性和延迟方面带来挑战。TinyAgent通过使用高质量的精选数据训练专门的SLM，并借助LLMCompiler专注于函数调用，解决了这些问题。作为一个实际应用，TinyAgent可以与各种MacOS应用程序交互，帮助用户完成日常任务，如撰写电子邮件、管理联系人、安排日历事件和组织Zoom会议。

获取桌面应用‎ ‎ | 阅读博客文章

当面对具有挑战性的任务时，SLM代理需要合适的工具和上下文示例来引导。如果模型看到不相关的示例，可能会产生幻觉。同样，如果模型看到它不需要的工具描述，通常会感到困惑，而且这些工具会占用不必要的提示空间。为了解决这个问题，TinyAgent使用ToolRAG来检索最适合给定查询的工具和示例。这个过程的延迟极小，并显著提高了TinyAgent的准确性。更多详细信息，请查看我们的博客文章。

🚀 快速开始

你可以通过以下方式快速了解和使用TinyAgent：

• 获取桌面应用：点击这里获取桌面应用。
• 阅读博客文章：点击这里阅读详细的博客文章。

✨ 主要特性

• 边缘端部署：能够在边缘端安全、私密地部署小型语言模型，解决传统大语言模型在边缘端部署的难题。
• 函数调用能力：通过训练和使用LLMCompiler，让小型语言模型具备复杂推理和函数调用能力。
• ToolRAG工具：使用ToolRAG检索最适合的工具和示例，减少延迟并提高准确性。
• 多应用交互：可以与各种MacOS应用程序交互，帮助用户完成日常任务。

📚 详细文档

模型开发者

加州大学伯克利分校的Squeeze AI实验室。

模型变体

TinyAgent模型有两种尺寸：TinyAgent - 1.1B和TinyAgent - 7B。

许可证

本项目采用MIT许可证。

演示

点击下面的图片观看演示视频：

使用方法

有关如何使用TinyAgent模型的详细信息，请参阅我们的GitHub仓库。TinyAgent模型可以通过编程方式或我们的用户界面使用。

训练细节

数据集

我们精心策划了一个包含40,000个实际用例的数据集。我们使用GPT - 3.5 - Turbo生成真实世界的指令，然后使用GPT - 4 - Turbo获取合成执行计划。有关我们数据集的更多详细信息，请查看我们的博客文章。

微调过程

TinyAgent模型是从基础模型进行微调得到的。以下是每个TinyAgent模型及其对应的基础模型的表格：

使用上述合成数据生成过程，我们使用基于LoRA的参数高效微调方法对基础模型进行3个周期的微调。有关我们微调过程的更多详细信息，请查看我们的博客文章。

🔗 相关链接

• 博客文章：[https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)
• GitHub仓库：https://github.com/SqueezeAILab/TinyAgent