Toastypigeon Gemma 3 Starshine 12B GGUF

🚀 量化版Gemma-3-Starshine-12B模型

本項目提供了從ToastyPigeon/Gemma-3-Starshine-12B轉換而來的GGUF格式模型文件。藉助llama.cpp工具，由ArtusDev完成轉換，特別採用了imatrix量化選項，有望提升模型性能。

🚀 快速開始

模型信息

🌠G3 Starshine 12B🌠

這是測試集中的合併版本A / A1。

這是一個基於Gemma 3 12B IT和Gemma 3 12B PT微調合並的創意寫作模型。這是專注於故事創作的合併版本，在講故事和場景構建方面表現出色，其生成的散文更具小說風格，且傾向於模仿用戶角色。

你也可以查看另一個專注於角色扮演的版本。

該模型是兩個G3模型的合併產物，一個在指令數據上訓練，另一個在基礎數據上訓練：

• allura-org/Gemma-3-Glitter-12B - 它本身是故事寫作和角色扮演訓練的合併版本（均由ToastyPigeon完成），在指令數據上訓練。
• ToastyPigeon/Gemma-3-Confetti-12B - 採用基礎數據而非指令數據，對Glitter數據進行實驗性應用，此外還包含一些以SpringDragon形式存在的冒險數據。

合併後的模型巧妙融合了Glitter遵循指令的能力和Confetti自由風格的散文特點，有效減少了Glitter中存在的猶豫感。

如果將此模型的GGUF文件與合適的mmproj文件配對，視覺功能也能正常工作（就目前該模型的視覺功能而言）。未來，我計劃修復缺失的視覺塔，使模型真正實現多模態功能。

感謝jebcarter提出的創意，我很喜歡最終的效果！

📚 詳細文檔

指令格式

該模型使用Gemma2/3的指令格式，並經過訓練以識別可選的系統角色。

⚠️ 重要提示

雖然模型不會立即排斥系統角色，但不使用系統角色可能會獲得更好的結果。

<start_of_turn>system
{可選的帶有提示的系統回合}<end_of_turn>
<start_of_turn>user
{用戶消息；也可以在此處放置系統提示以使用內置的g3訓練}<end_of_turn>
<start_of_turn>model
{模型響應}<end_of_turn>

合併配置

實際上，我嘗試了多種方法，令人驚訝的是，這種方法效果最佳。

models:
  - model: ToastyPigeon/Gemma-3-Confetti-12B
    parameters:
      weight: 0.5
  - model: allura-org/Gemma-3-Glitter-12B
    parameters:
      weight: 0.5
merge_method: linear
tokenizer_source: allura-org/Gemma-3-Glitter-12B

📄 許可證

本項目使用gemma許可證。