Gemma 3 Starshine 12B Alt

🚀 🌠G3 Starshine 12B - Alt🌠

これはテストセットのマージA2です。

Gemma 3 12B ITとGemma 3 12B PTのファインチューニングをマージした創造的な文章生成モデルです。

これはRPに特化したマージモデルです。このバージョンは、ターン制チャットにおいて別々のキャラクターをより適切に扱い、なりすましが少なくなります。

メインのストーリーに特化したバージョンも参照してください。

このモデルは2つのG3モデルをマージしたもので、1つは命令型でトレーニングされ、もう1つはベースでトレーニングされています。

• allura-org/Gemma-3-Glitter-12B - ストーリーライティングとRPトレーニング（どちらもToastyPigeonによる）をマージした命令型モデル
• ToastyPigeon/Gemma-3-Confetti-12B - 命令型ではなくベースを使用したGlitterデータの実験的な適用。さらに、SpringDragon形式のアドベンチャーデータも含まれています。

結果として、Glitterの命令に従う能力とConfettiの自由な文体が素敵に融合され、Glitterに残っていた多くの躊躇が解消されまし。

このモデルのGGUFを適切なmmprojファイルと組み合わせると、ビジョン機能が動作します（現時点でこのモデルのビジョン機能はそれほど進んでいません）。近い将来、欠けているビジョンタワーを修正し、適切にマルチモーダルにする予定です。

このモデルを作るアイデアを提供してくれたjebcarterに感謝します。結果が大好きです！

📚 詳細情報

ベースモデル

命令形式

Gemma2/3の命令形式を使用していますが、オプションのシステムロールを認識するようにトレーニングされています。

⚠️ 重要提示

システムロールを使用してもすぐにエラーにはなりませんが、システムロールを使用しない方が結果が良い場合があります。

<start_of_turn>system
{オプションのシステムターンとプロンプト}<end_of_turn>
<start_of_turn>user
{ユーザーメッセージ; 組み込みのG3トレーニングを使用するためにシステムプロンプトをここに配置することもできます}<end_of_turn>
<start_of_turn>model
{モデルの応答}<end_of_turn>

マージ設定

Glitterの割合を高くすると、このモデルはターン制の命令に対する追従性が向上しますが、ストーリーに特化したバージョンと比較して、より堅苦しい傾向があります。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.3
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.7
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B