Gemma 3 Starshine 12B Alt

🚀 🌠G3 Starshine 12B - Alt🌠

🌠G3 Starshine 12B - Alt是一個基於Gemma 3 12B IT和Gemma 3 12B PT微調合並的創意寫作模型。它專注於角色扮演（RP），在回合制聊天中能更好地處理不同角色，減少模仿情況。

🚀 快速開始

此模型是測試集中的Merge A2，是兩個G3模型的合併版本，一個基於指令訓練，一個基於基礎訓練：

• allura-org/Gemma-3-Glitter-12B - 它本身是故事寫作和角色扮演訓練的合併版本（均由ToastyPigeon完成），基於指令訓練。
• ToastyPigeon/Gemma-3-Confetti-12B - 是Glitter數據在基礎模型而非指令模型上的實驗性應用，還包含了一些冒險數據（以SpringDragon的形式）。

合併的結果是，它融合了Glitter遵循指令的能力和Confetti自由的文風，有效減少了Glitter中存在的猶豫感。

如果將此模型的GGUF文件與合適的mmproj文件配對，視覺功能也能正常工作（目前該模型的視覺功能就是如此）。未來計劃修復缺失的視覺塔，使其成為真正的多模態模型。

感謝 jebcarter 提出的這個想法，最終效果很棒！

✨ 主要特性

指令格式

使用Gemma2/3指令，但經過訓練能夠識別可選的系統角色。

⚠️ 重要提示

雖然模型不會立即排斥系統角色，但不使用系統角色可能會得到更好的結果。

<start_of_turn>system
{可選的帶有提示的系統回合}<end_of_turn>
<start_of_turn>user
{用戶消息；也可以在此處放置系統提示以使用內置的g3訓練}<end_of_turn>
<start_of_turn>model
{模型響應}<end_of_turn>

合併配置

增加Glitter的比例可以讓模型在回合制指令遵循方面表現更好，但與故事聚焦版本相比，可能會更拘謹。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.3
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.7
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B

📚 詳細文檔

還可以查看主要的 故事聚焦 版本。

📦 模型信息