Angelslayer 12B Unslop Mell RPMax DARKNESS V3

🚀 AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-v3

本項目是基於預訓練語言模型的融合模型，使用 mergekit 工具創建。它旨在提供更具創意和多樣化的文本輸出，適用於角色扮演、創意寫作等場景。

他們說 “他” 將帶來世界末日。她尋求的是理解，而非毀滅。

這是一個使用 mergekit 創建的預訓練語言模型的融合模型。

這更像是 v2b 版本，因為我收到反饋稱 v2 版本的輸出很無趣。我認同這個觀點，所以調整了參數。我本身很喜歡這些基礎模型，但在 v2 版本中，我把參數調得太低，未能充分引入更具創意模型的 “特色”。如果您使用這個模型的體驗不佳，可以嘗試與 v2 版本進行比較。這個模型並非本質上更優，只是一種替代選擇。目前尚未進行測試，因為我正在進行新的有趣融合工作。

這是第九個模型。

✨ 主要特性

• 多模型融合：融合了多個優秀的 12B 預訓練語言模型，結合了不同模型的優勢。
• 創意輸出：通過調整參數，旨在提供更具創意和多樣化的文本輸出，適用於角色扮演、創意寫作等場景。
• 配置靈活：使用 YAML 配置文件，可以靈活調整融合參數。

📚 詳細文檔

基礎模型

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4.1
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS

庫名稱

transformers

標籤

• mergekit
• merge
• 12b
• chat
• roleplay
• creative-writing
• DELLA-linear

許可證

apache-2.0

🔧 技術細節

融合方法

本模型使用線性 DELLA 融合方法，以 TheDrummer/UnslopNemo-12B-v4 為基礎模型進行融合。

融合的模型

以下模型被納入融合：

• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• inflatebot/MN-12B-Mag-Mell-R1

配置

以下 YAML 配置用於生成此模型：

models:
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.2
        - value: 0.25
      density: 0.65
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.15
        - value: 0.2
      density: 0.6
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.35
        - value: 0.3
      density: 0.75
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: mlp
          value: 0.35
        - value: 0.25
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.05
  lambda: 1

📄 許可證

本項目採用 apache-2.0 許可證。