Tinyllama Cinder Agent V1

🚀 TinyLlama-Cinder-Agent-v1

本模型旨在構建一個Tinyllama模型，可用於工具使用、檢索增強生成（RAG）、接收系統指令，並作為通用助手。

🚀 快速開始

本模型是 Josephgflowers/TinyLlama-Cinder-Tiny-Agent 的微調版本。特別感謝 https://nationtech.io/ 對本模型訓練的慷慨贊助。

本模型是在 https://huggingface.co/datasets/Josephgflowers/agent_1 上對 Josephgflowers/TinyLlama-3T-Cinder-v1.2 進行微調得到的。

✨ 主要特性

模型描述

本模型針對檢索增強生成（RAG）、摘要生成、函數調用和工具使用進行了訓練。它基於Cinder進行訓練，Cinder是一個專為科學、技術、工程和數學（STEM）主題聊天、太空冒險角色扮演和故事講述而設計的聊天機器人。

就其模型規模而言，本模型在IFEval（指令遵循）方面表現出色，在摘要生成和檢索增強生成方面也有很好的表現。由於Glaive函數調用數據集的格式問題，JSON輸出與常規JSON轉儲的預期有所不同，但嚴格遵循了其標準。

在GSM8K數據集上的性能是原始Tinyllama模型的10倍！！！

為了實現這一目標，我使用了所有常見的開放數學數據集，如Orca Math、所有Meta Math數據集、Camel AI數學問答等，以及儘可能多的推理數據集。而真正讓模型性能更上一層樓的是加入了TIGER-Lab/WebInstructSub以及所有的RAG和摘要數據。因此，特別感謝TIGER-Lab。我發現隨著數學性能的提高，模型在檢索增強生成中提取相關數據的能力也得到了提升。

尋求幫助

如果您喜歡我的工作，希望看到更多內容，或者有定製需求，請在Discord上聯繫我：joseph.flowers.ra。也可以在此處捐贈：https://buymeacoffee.com/josephgflowers

有關使用維基百科進行檢索增強生成的示例，請參閱 https://huggingface.co/Josephgflowers/TinyLlama-Cinder-Agent-Rag/blob/main/tinyllama_agent_cinder_txtai-rag.py 。

📚 詳細文檔

開放大語言模型排行榜評估結果

詳細結果可在 此處 查看。

開放大語言模型排行榜評估結果

詳細結果可在 此處 查看。

📄 許可證

本模型採用MIT許可證。