Patricide 12B Unslop Mell V2

🚀 patricide-12B-Unslop-Mell-v2

這是一個基於預訓練語言模型合併的項目，旨在創造出具有特定特性的語言模型，可應用於聊天、角色扮演、創意寫作等場景。

本模型是使用 mergekit 合併預訓練語言模型得到的。這是作者的第七個模型。作者決定使用 TheDrummer/UnslopNemo-12B-v4 而非 TheDrummer/UnslopNemo-12B-v4.1，因為前者據說在犧牲一定智能的情況下，具有更強的反GPT傾向，作者打算在未來的合併中繼續使用它，並且可以通過添加更智能的模型來抵消這種影響。TheDrummer 表示 Metharme/Pygmalion 模板具有更高的反GPT效果，但這些特定的標記在分詞器中並未強制使用或不存在，作者更喜歡 ChatML，因此選擇了在基礎狀態下具有更強反GPT傾向的模型。作者調整了參數以使其更加平衡，同時也在測試 NuSLERP。如果找到更好的參數，可能會發布 V2B 版本。目前作者還沒有太多時間對該模型進行全面測試，並且還在進行其他項目的工作。

🚀 快速開始

本模型處於早期測試階段，目前還不清楚該模型在長期上下文情況下的表現。早期測試顯示出了穩定性，並能給出可行的答案。

✨ 主要特性

模型參數

量化

靜態 GGUF 量化版本可在以下鏈接獲取：

• MaziyarPanahi/patricide-12B-Unslop-Mell-v2-GGUF
• mradermacher/patricide-12B-Unslop-Mell-v2-GGUF

🔧 技術細節

合併方法

本模型使用 NuSLERP 合併方法進行合併。

合併的模型

以下模型參與了合併：

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight: [0.6, 0.5, 0.3, 0.5, 0.6]
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: [0.4, 0.5, 0.7, 0.5, 0.4]
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true

📄 許可證

本項目採用 apache-2.0 許可證。