Tinyagent 7B

🚀 TinyAgent：边缘端的函数调用

TinyAgent旨在赋予小型语言模型（SLM）复杂推理和函数调用能力，使其能够在边缘端安全、私密地部署。传统的大型语言模型（LLM），如GPT - 4和Gemini - 1.5，虽然功能强大，但通常体积过大且资源消耗高，难以在边缘端部署，在隐私、连接性和延迟方面存在挑战。TinyAgent通过使用高质量的精选数据训练专门的SLM，并借助 LLMCompiler 专注于函数调用，解决了这些问题。作为一个实际应用示例，TinyAgent可以与各种MacOS应用程序交互，帮助用户完成日常任务，如撰写电子邮件、管理联系人、安排日历事件和组织Zoom会议。

获取桌面应用‎ ‎ | 阅读博客文章

模型开发者：加州大学伯克利分校的Squeeze AI实验室。

模型变体：TinyAgent模型有两种大小：TinyAgent - 1.1B和TinyAgent - 7B

许可证：MIT

🚀 快速开始

演示

点击下方图片观看演示视频：

使用方法

有关如何使用TinyAgent模型的详细信息，请参阅我们的 GitHub。TinyAgent模型可以通过编程方式或我们的用户界面使用。

✨ 主要特性

TinyAgent能够在边缘端的小型语言模型中实现复杂推理和函数调用能力，解决了传统大型语言模型在边缘端部署的难题，同时可以与MacOS应用交互，辅助用户完成日常任务。

📚 详细文档

训练详情

数据集

我们精心策划了一个包含 40,000 个实际用例的 数据集。我们使用GPT - 3.5 - Turbo生成真实世界的指令，然后使用GPT - 4 - Turbo获取合成执行计划。有关我们数据集的更多详细信息，请查看我们的 博客文章。

微调过程

TinyAgent模型是在基础模型上进行微调得到的。以下是每个TinyAgent模型及其对应的基础模型的表格：

使用上述合成数据生成过程，我们使用基于LoRA的参数高效微调方法对基础模型进行3个周期的微调。有关我们微调过程的更多详细信息，请查看我们的 [博客文章](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/)。

🛠️ ToolRAG

当面对具有挑战性的任务时，小型语言模型代理需要合适的工具和上下文示例来引导。如果模型看到不相关的示例，可能会产生幻觉。同样，如果模型看到它不需要的工具描述，通常会感到困惑，并且这些工具会占用不必要的提示空间。为了解决这个问题，TinyAgent使用ToolRAG来为给定查询检索最合适的工具和示例。这个过程具有极低的延迟，并显著提高了TinyAgent的准确性。有关更多详细信息，请查看我们的 [博客文章](https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/) 和我们的 [ToolRAG模型](https://huggingface.co/squeeze - ai - lab/TinyAgent - ToolRAG)。

相关链接

• 博客文章：https://bair.berkeley.edu/blog/2024/05/29/tiny - agent/
• GitHub：https://github.com/SqueezeAILab/TinyAgent

📄 许可证

本项目采用MIT许可证。