Gemma 3 Glitter 12B

🚀 G3 Glitter 12B

Gemma 3 12B ITをベースにした創造的な文章生成モデルです。このモデルは、2つの別々の学習結果を50/50の比率でマージしたもので、豊かな文章生成能力を備えています。

📦 インストール

ベースモデル

• ToastyPigeon/g3-12b-rp-system-v0.1
• ToastyPigeon/g3-12b-storyteller-v0.2-textonly
• google/gemma-3-12b-it

ライブラリ名

transformers

タグ

• mergekit
• merge

✨ 主な機能

このモデルは、Gemma 3 12B ITをベースにした創造的な文章生成モデルです。以下の特徴を持っています。

• マージモデル：2つの別々の学習結果を50/50の比率でマージしています。
  • ToastyPigeon/g3-12b-rp-system-v0.1 - RPに関連する約1350万トークンの命令型学習（人間と合成データの比率は2:1）と、システムプロンプトを使用したサンプルが含まれています。
  • ToastyPigeon/g3-12b-storyteller-v0.2-textonly - 長文の創造的文章生成に関する約2000万トークンの完了型学習が行われています。そのうち、160万トークンはR1からの合成データで、残りは人間によって作成されたデータです。
• 更新情報：このモデルにビジョン機能が戻ってきました。

📚 ドキュメント

命令形式

このモデルはGemma2/3の命令形式を使用していますが、オプションのシステムロールを認識するように学習されています。

<start_of_turn>system
{オプションのシステムターンとプロンプト}<end_of_turn>
<start_of_turn>user
{ユーザーメッセージ; 組み込みのg3学習を使用するために、ここにシステムプロンプトを記述することもできます}<end_of_turn>
<start_of_turn>model
{モデルの応答}<end_of_turn>