Starcannon Unleashed 12B V1.0

🚀 Starcannon-Unleashed-12B-v1.0-GGUF

Starcannon-Unleashed-12B-v1.0-GGUF 是一個融合模型，結合了不同預訓練語言模型的優點，在角色回覆和長上下文穩定性方面表現出色。

🚀 快速開始

本模型支持 ChatML 和 Mistral 格式，個人建議使用 ChatML 進行測試，你可以根據喜好選擇合適的格式。同時，推薦使用以下設置：Starcannon-Unleashed-12B-v1.0-ST-Formatting-2024-10-29.json。

重要提示

• 打開 Silly Tavern 並使用“Master Import”（可在“A”標籤 - 高級格式中找到），將“INSERT WORLD HERE”佔位符替換為角色所屬的世界/宇宙。若不適用，可直接刪除該部分。
• 檢查用戶設置，將“Example Messages Behavior”設置為“Never include examples”，以防止對話示例在上下文中發送兩次。若未設置，可能會輸出 <|im_end|> 標記。更多信息請參考 此帖子。

溫度設置

溫度設置在 1.15 - 1.25 效果較好，但較低的溫度也可能適用，只要同時調整 Min P 和 XTC 以確保模型不會卡頓。你可以根據喜好進行調整。

✨ 主要特性

• 融合優勢：融合了 Starcannon v3 和 NemoMix Unleashed 兩個模型的優點，既具備 Starcannon v3 角色回覆的出色表現，又擁有 NemoMix Unleashed 在長上下文下的穩定性。
• 格式支持：支持 ChatML 和 Mistral 兩種格式，可根據個人喜好選擇。

📦 量化版本

GGUF 版本

• VongolaChouko/Starcannon-Unleashed-12B-v1.0-GGUF
• mradermacher/Starcannon-Unleashed-12B-v1.0-GGUF
• bartowski/Starcannon-Unleashed-12B-v1.0-GGUF

特別感謝 mradermacher 和 bartowski 提供的 GGUF 量化版本！

EXL2 版本

• 8bpw
• 6bpw
• 4bpw

感謝 Statuo 提供的 EXL2 量化版本！

💻 使用示例

輸出示例

使用建議

• 輸出長度控制：對話示例和第一條消息非常重要，模型會模仿這些部分的風格。如果你想要短輸出，可使對話示例和第一條消息簡短；若想要長輸出，確保示例包含完整段落和多個句子。
• 調整溫度：如果對話示例和第一條消息簡短，但模型仍輸出冗長內容，可逐步降低溫度，先保持 Min P 和 XTC 不變，測試結果後再根據喜好調整。若仍有問題，可提高 XTC 閾值。
• 利用作者筆記：若希望指令對下一次回覆產生更大影響，可在聊天中使用深度為 2 的作者筆記作為系統消息。例如，測試模型時使用的筆記：“Scenario: Spontaneous. {{char}} has full autonomy to do anything they wish and progress the interaction in any way they like.”

📚 詳細文檔

免責聲明

這是作者首次嘗試合併模型，且並非編碼專家。在合併過程中，大部分時間可能並不理解具體操作，但在執行合併代碼後，對模型進行了嚴格測試，結果令人滿意。

合併目標

作者希望創建一個能融合各個微調/合併模型優點的模型，使一個模型能夠彌補另一個模型的弱點。

模型選擇原因

• Starcannon v3：作者非常喜歡該模型角色回覆的表現，感覺模型就像角色本身，而非扮演角色。但該模型在達到 16K 上下文時會出現連貫性問題。
• NemoMix Unleashed：該模型在長上下文中具有出色的穩定性，即使超過設置的上下文大小，仍能保持連貫和穩定，且具備理解言外之意的能力。

未來計劃

作者希望學習微調模型，但由於個人電腦性能有限，可能會在有更多時間和資源時再進行嘗試。

🔧 技術細節

合併方法

本模型使用 mergekit 工具，採用 della_linear 合併方法，以 G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B 為基礎進行合併。

合併模型

• G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3

配置文件

base_model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
dtype: bfloat16
merge_method: della_linear
parameters:
  epsilon: 0.05
  int8_mask: 1.0
  lambda: 1.0
slices:
- sources:
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
    parameters:
      density: 0.65
      weight: 0.4
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3
    parameters:
      density: 0.55
      weight: 0.6

📄 許可證

本模型採用 CC BY-NC 4.0 許可證。

🙏 致謝

非常感謝 MarinaraSpaghetti 和 Nothing is Real，他們的模型激發了作者學習合併模型的興趣，且最終成果令人滿意！