Tinyllama Cinder Agent V1

🚀 TinyLlama-Cinder-Agent-v1

本模型旨在构建一个Tinyllama模型，可用于工具使用、检索增强生成（RAG）、接收系统指令，并作为通用助手。

🚀 快速开始

本模型是 Josephgflowers/TinyLlama-Cinder-Tiny-Agent 的微调版本。特别感谢 https://nationtech.io/ 对本模型训练的慷慨赞助。

本模型是在 https://huggingface.co/datasets/Josephgflowers/agent_1 上对 Josephgflowers/TinyLlama-3T-Cinder-v1.2 进行微调得到的。

✨ 主要特性

模型描述

本模型针对检索增强生成（RAG）、摘要生成、函数调用和工具使用进行了训练。它基于Cinder进行训练，Cinder是一个专为科学、技术、工程和数学（STEM）主题聊天、太空冒险角色扮演和故事讲述而设计的聊天机器人。

就其模型规模而言，本模型在IFEval（指令遵循）方面表现出色，在摘要生成和检索增强生成方面也有很好的表现。由于Glaive函数调用数据集的格式问题，JSON输出与常规JSON转储的预期有所不同，但严格遵循了其标准。

在GSM8K数据集上的性能是原始Tinyllama模型的10倍！！！

为了实现这一目标，我使用了所有常见的开放数学数据集，如Orca Math、所有Meta Math数据集、Camel AI数学问答等，以及尽可能多的推理数据集。而真正让模型性能更上一层楼的是加入了TIGER-Lab/WebInstructSub以及所有的RAG和摘要数据。因此，特别感谢TIGER-Lab。我发现随着数学性能的提高，模型在检索增强生成中提取相关数据的能力也得到了提升。

寻求帮助

如果您喜欢我的工作，希望看到更多内容，或者有定制需求，请在Discord上联系我：joseph.flowers.ra。也可以在此处捐赠：https://buymeacoffee.com/josephgflowers

有关使用维基百科进行检索增强生成的示例，请参阅 https://huggingface.co/Josephgflowers/TinyLlama-Cinder-Agent-Rag/blob/main/tinyllama_agent_cinder_txtai-rag.py 。

📚 详细文档

开放大语言模型排行榜评估结果

详细结果可在 此处 查看。

开放大语言模型排行榜评估结果

详细结果可在 此处 查看。

📄 许可证

本模型采用MIT许可证。