Llama 3 Cat 8b Instruct V1

🚀 Cat-llama3-instruct

Cat-llama3-instructは、システムプロンプトの忠実度、有用性、キャラクターへの没入感に重点を置いたLlama 3 8bファインチューニング済みモデルです。このモデルは、システムプロンプトを極限まで尊重し、どのような状況でも有用な情報を提供し、与えられたシーンで最大限のキャラクター没入感（ロールプレイ）を提供することを目指しています。

✨ 主な機能

• システム命令の忠実度
• 思考連鎖（Chain of Thought, COT）
• キャラクターへの没入感
• 生物科学や一般科学に関する有用性

📚 ドキュメント

データセット作成者

• データセットビルダー: Dr. Kal'tsit (Kat)
• トレーナー/資金提供: SteelSkull
• 仲介者: Potatooff

データセット準備

Huggingfaceの命令-応答ペアを含むデータセットを系統的に収集しました。高品質で有用な応答のみを対象にGPTモデルをトレーニングし、標準モデルとして使用しました。データセットはさらに長さとCOT応答についてフィルタリングされました。また、Chat Doctorから健康関連のデータも収集し、詳細で段階的な診断を重視しました。

モデルトレーニング

1台のa100を6日間使用し、4エポックでトレーニングを行いました。

使用方法

プロンプト形式: Llama 3

• 設定/コンテキスト/命令 (@Anthonyg5005による提供)
• Cat 8B Gen Settings
• Cat 8b Context
• Cat 8b Instruct

量子化モデル

• bartowski/llama-3-cat-8b-instruct-v1-GGUF

サンプルコード

 <|begin_of_text|>Below is a conversation between an user and an AI assistant. The ai assistant gives response regarding user's questions. USER: user: Given the task definition and input, reply with output. In this task, you are given a question and an answer, you would be asked to create the sentence based on the Question-Answer provided. It should be contained within the Question-Answer provided.

Question: What type of diseases in humans are caused by protozoa? Answer: protist diseases
ASSISTANT: AI: Task Explanation:
In this task, you are asked to create a sentence using the given question and the provided answer. The sentence you create should include the information from both the question and the answer in a concise and coherent manner.
Guidelines:
1. Read the given question and answer carefully.
2. Combine the information from the question and answer to create a new sentence.
3. Make sure your new sentence contains both the question's information and the answer provided.
4. Check your sentence for proper grammar and punctuation.
Steps to find the answer:
1. Read the question: "What type of diseases in humans are caused by protozoa?"
2. Read the answer: "protist diseases"
3. Combine the information from the question and answer to create a new sentence: "In humans, protist diseases are caused by protozoa."
4. Double-check the sentence for proper grammar and punctuation, and make necessary adjustments if needed.
Final Output:
In humans, protist diseases are caused by protozoa.< / s ><|end_of_text|>

モデルの成果展示

モデルは灰色でCOTを行い、黒で計算された応答を表示します。この動作は、システムカードの命令によってシステムカードの忠実度を示すために行われており、モデルにファインチューニングされているわけではありません。

📄 ライセンス

Llama3

🔍 評価結果

詳細な結果はこちらをご覧ください。