Gemma 3 Starshine 12B

🚀 🌠G3 Starshine 12B🌠

G3 Starshine 12B是一個創意寫作模型，它基於對Gemma 3 12B IT和Gemma 3 12B PT的微調合並而成。該模型專注於故事創作，在講故事和情景模擬方面表現出色，其生成的散文更具小說風格，還傾向於模仿用戶角色。

🚀 快速開始

此模型是測試集中的Merge A / A1。它是兩個G3模型的合併，一個在指令數據上訓練，另一個在基礎數據上訓練：

• allura-org/Gemma-3-Glitter-12B - 本身是故事寫作和角色扮演訓練的合併（均由ToastyPigeon完成），在指令數據上訓練。
• ToastyPigeon/Gemma-3-Confetti-12B - 使用基礎數據而非指令數據對Glitter數據進行的實驗性應用，此外還包含一些以SpringDragon形式存在的冒險數據。

合併的結果是巧妙地融合了Glitter遵循指令的能力和Confetti自由風格的散文特點，有效減少了Glitter中存在的許多猶豫。

更新：視覺塔已恢復！盡情使用吧。

感謝 jebcarter 提出創建此模型的想法，我很喜歡最終的效果！

你還可以查看 Alternate RP Focused 版本。

✨ 主要特性

指令格式

使用Gemma2/3指令，但經過訓練能夠識別可選的系統角色。

⚠️ 重要提示

雖然模型不會立即排斥系統角色，但不使用系統角色可能會獲得更好的結果。

<start_of_turn>system
{可選的帶有提示的系統回合}<end_of_turn>
<start_of_turn>user
{用戶消息；也可以在此處放置系統提示以使用內置的g3訓練}<end_of_turn>
<start_of_turn>model
{模型響應}<end_of_turn>

合併配置

實際上，我嘗試了多種方法，令人驚訝的是，這種方法效果最佳。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.5
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.5
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B

📚 詳細文檔