Tinyllama Cinder Agent V1

🚀 TinyLlama-Cinder-Agent-v1

このモデルの目標は、ツールの使用、RAG、システム命令の受け付け、および一般的なアシスタントとして使用できるTinyllamaモデルを構築することです。

🚀 クイックスタート

このモデルは、Josephgflowers/TinyLlama-Cinder-Tiny-Agent のファインチューニング版です。また、Josephgflowers/TinyLlama-3T-Cinder-v1.2 を https://huggingface.co/datasets/Josephgflowers/agent_1 でファインチューニングしたものです。

特別な感謝を https://nationtech.io/ に送ります。彼らはこのモデルのトレーニングに慷慨な支援をしてくれました。

✨ 主な機能

このモデルは、RAG、要約、関数呼び出し、およびツールの使用のためにトレーニングされています。Cinderをベースにトレーニングされています。Cinderは、STEMトピック、宇宙冒険のロールプレイング、およびストーリーテリングに関するチャット用に設計されたチャットボットです。

このモデルは、そのサイズに関わらず、IFEval（指示の遵守）で良好な結果を出します。要約とRAGに優れています。Glaive関数呼び出しデータセットの形式のため、通常のJSONダンプに対するJSON出力は期待したものではありませんが、彼らの標準を厳密に遵守しています。

GSM8Kでは元のTinyllamaモデルの10倍の性能！！

これを実現するために、私は通常のすべてのオープンな数学データセット（例：Orca Math、すべてのMeta Math、camel AI math qaなど）と、できる限り多くの推論データセットを使用しました。しかし、本当に一歩進んだのは、TIGER-Lab/WebInstructSubとすべてのRAGおよび要約データを追加したことです。だからTIGER-Labに特別な感謝をします。数学性能が向上するにつれて、モデルがRAGで関連データを抽出する能力も向上することがわかりました。

支援募集

私の仕事が気に入ったでしょうか？もっと見たいですか？カスタムリクエストですか？Discordでメッセージを送ってください：joseph.flowers.ra 寄付はこちらから：https://buymeacoffee.com/josephgflowers

Wiki RAGを使用した使用例については、https://huggingface.co/Josephgflowers/TinyLlama-Cinder-Agent-Rag/blob/main/tinyllama_agent_cinder_txtai-rag.py を参照してください。

📚 ドキュメント

Open LLM Leaderboard Evaluation Results

詳細な結果は こちら で確認できます。

Open LLM Leaderboard Evaluation Results

詳細な結果は こちら で確認できます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。