Toastypigeon Gemma 3 Starshine 12B GGUF

🚀 量子化モデル(G3 Starshine 12B)

このリポジトリには、ToastyPigeon/Gemma-3-Starshine-12B から変換されたGGUF形式のモデルファイルが含まれています。変換はArtusDevによってllama.cppを使用して行われ、特に潜在的なパフォーマンス向上のためにimatrix量子化オプションが利用されました。

🚀 クイックスタート

量子化について

このリポジトリに含まれるGGUF形式のモデルファイルは、ToastyPigeon/Gemma-3-Starshine-12B から変換されたものです。変換は ArtusDev が llama.cpp を使って行い、imatrix 量子化オプションを利用しており、パフォーマンス向上が期待できます。

G3 Starshine 12B モデル

これはテストセットのマージA / A1です。

このモデルは、Gemma 3 12B ITとGemma 3 12B PTのファインチューニングをマージした創造的な文章生成モデルです。これはストーリーに特化したマージバージョンで、物語やシナリオの生成に適しており、文章は小説のような文体になり、ユーザーのキャラクターを模倣する傾向があります。

別のRPに特化したバージョン もご覧ください。

このモデルは2つのG3モデルをマージしたもので、1つは命令に基づいて学習され、もう1つは基本データで学習されています。

• allura-org/Gemma-3-Glitter-12B - これ自体が、ToastyPigeonによるストーリーライティングとRP学習のマージで、命令に基づいて学習されています。
• ToastyPigeon/Gemma-3-Confetti-12B - Glitterのデータを命令ではなく基本データで実験的に適用し、さらにSpringDragon形式のアドベンチャーデータも含まれています。

結果として、Glitterの命令追従能力とConfettiの自由な文体が美しく融合され、Glitterに残っていた多くの躊躇が解消されています。

このモデルのGGUFを適切なmmprojファイルと組み合わせると、ビジョン機能も動作します（現時点でこのモデルでのビジョン機能は限られています）。近い将来、欠けているビジョンタワーを修正し、適切なマルチモーダル機能を実装する予定です。

このアイデアを提供してくれた jebcarter に感謝します。結果が素敵になって嬉しいです！

📚 ドキュメント

命令形式

Gemma2/3の命令形式を使用していますが、オプションのシステムロールを認識するように学習されています。

注意: システムロールを使用してもすぐにエラーになることはありませんが、使用しない方が結果が良い場合があります。

<start_of_turn>system
{optional system turn with prompt}<end_of_turn>
<start_of_turn>user
{User messages; can also put sysprompt here to use the built-in g3 training}<end_of_turn>
<start_of_turn>model
{model response}<end_of_turn>

マージ設定

実際にいくつかの方法を試したところ、この設定が最も良い結果をもたらしました。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.5
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.5
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B

📄 ライセンス

このモデルは gemma ライセンスの下で提供されています。

📋 モデル情報