Patricide 12B Unslop Mell

🚀 弒父者-12B-無卡頓梅洛模型

弒父者-12B-無卡頓梅洛模型是一個基於預訓練語言模型合併的成果，旨在繼承父模型的優秀特性，為聊天、角色扮演、創意寫作等場景提供更穩定和連貫的語言交互體驗。

模型信息

模型合併背景

“父親的罪孽，絕不能以這種方式重演。”

本模型是使用 mergekit 合併預訓練語言模型的產物。這是我的首次合併嘗試，一開始我對如何在配置中編寫參數一無所知（更新：我已經搞明白了）。如果有人有更詳盡的合併指南，歡迎告知，我也很想深入瞭解其中的原理。

兩個基礎模型都有不錯的表現，所以我決定將它們合併，期望新模型能繼承父模型的優點。（更新：早期測試顯示該模型連貫性良好，但有時會輸出難以理解的胡言亂語或生造詞，這可能是分詞器損壞導致的。）

模型測試情況

我在 Q6_K GGUF 量化模型上進行了測試，結果令人滿意，因此決定上傳。雖然我沒有在故事寫作和角色扮演場景中進行廣泛測試，但結果穩定且至少是連貫的。我在 溫度為 1（最後設置溫度）和 最小概率為 0.1 的條件下進行了測試。我不清楚 DRY 或 XTC 對輸出穩定性的影響，也不知道在高上下文大小下的表現如何。兩個父模型都使用 ChatML 模板，儘管 Unslop - Nemo 也使用 Metharme/Pygmalion 模板，我還未測試哪個效果更好。（更新：mergekit 引入了定義模板的功能，我將在後續模型中強制使用 ChatML，以實現全面標準化。）

⚠️ 重要提示

本模型早期測試發現存在輸出難以理解內容的情況，可能是分詞器損壞導致。

💡 使用建議

可以在不同場景下進行實驗，探索模型的最佳使用方式。

模型後續計劃

我可能會在能夠運行新模型且無需過多調整採樣器、參數、文本模板等的情況下發布後續模型。之後會按照 DavidAU 的方法 進行廣泛測試，以便在開發新模型的同時獲得更多反饋。我希望創建在基礎狀態下就表現出色的模型，通過採樣器進一步優化。因此，除非模型基礎狀態非常有潛力，否則我不會在微調採樣器上花費過多時間。

量化模型

• 靜態 GGUF 量化模型：
  • redrix/patricide - 12B - Unslop - Mell - GGUF（量化模型數量少於下方鏈接）
  • mradermacher/patricide - 12B - Unslop - Mell - GGUF（感謝提供）
• 加權/Imatrix GGUF 量化模型：mradermacher/patricide - 12B - Unslop - Mell - i1 - GGUF

合併詳情

合併方法

本模型採用 SLERP 合併方法。

合併模型

• inflatebot/MN - 12B - Mag - Mell - R1
• TheDrummer/UnslopNemo - 12B - v4.1

配置文件

以下是用於生成此模型的 YAML 配置：

models:
  - model: TheDrummer/UnslopNemo-12B-v4.1
  - model: inflatebot/MN-12B-Mag-Mell-R1
merge_method: slerp
base_model: TheDrummer/UnslopNemo-12B-v4.1
dtype: bfloat16
parameters:
  t: [0, 0.5, 1, 0.5, 0]

封面說明

封面藝術是我用 Photoshop 自己製作的，我不會在這類事情上使用 AI。