Gemma 3 12B FornaxV.2 QAT CoT Q4 0 GGUF

🚀 Gemma 3 12B V2 Fornax Q4_0 GGUF

このモデルは、8GBの消費者向けグラフィックカードに収まり、汎用的な推論能力を持つ強力な小型思考モデルを作成する試みです。他の多くのオープンソースの思考モデル、特に小型のものは、コーディングや数学以外のタスクに推論能力を一般化できません。これは、GRPO zero for CoTに過度に焦点を当てているためで、これはコーディングと数学にのみ適用可能です。

このモデルは、GRPOを使用する代わりに、Deepseek R1からの多様な高品質の推論トレースをGemma 3にSFTすることを目指しています。これにより、LiMO論文の数学/コーディングCoTへのアプローチを拡張して、モデルに多数のタスクに対して推論能力を効果的に一般化させます。また、V3 O3/24の非思考データのサブセットも含まれており、創造性を向上させ、モデルが非思考能力を維持できるようにしています。

QATチェックポイントからのトレーニングにより、このモデルはQ4_0で品質を低下させることなく使用でき、約6GBのメモリしか必要としません。

✨ 主な機能

思考モード

Qwen 3モデルラインと同様に、Gemma Fornaxは思考モードを有効または無効にして使用できます。

• 思考モードを有効にするには、システムプロンプトに/thinkを入れ、思考モード用に<think>\nを事前入力します。
• 思考モードを無効にするには、システムプロンプトに/no_thinkを入れます。

設定

Sillytavern用のサンプラーとテンプレートのJSON設定ファイルを使用することをお勧めします。デフォルト設定は、書式設定の問題によりGemma 3とうまく動作しません。

📦 インストール

原文書にインストール手順は記載されていないため、このセクションは省略されます。

💻 使用例

原文書にコード例は記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル情報

特別な謝辞

• Googleには、優れたGemma 3モデルラインをオープンソース化してくれたことに感謝します。
• Undi95には、データセットの一部とインスピレーションを提供してくれたことに感謝します。
• PJMixers-Devには、データセットのキュレーションと作成に尽力してくれたことに感謝します。
• GeneralReasoningには、データセットを提供してくれたことに感謝します。

🔧 技術詳細

原文書に技術的な詳細説明は十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルのライセンスはgemmaです。