Angelslayer 12B Unslop Mell RPMax DARKNESS

🚀 AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS

他們說“他”將帶來世界末日。她尋求的是理解，而非毀滅。

這是一個使用 mergekit 合併預訓練語言模型得到的模型。這是作者的第四個模型，旨在測試 della_linear 方法。該模型的目的是利用 DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS 的負面特性來抵消潛在的積極偏差，同時保持穩定性。

🚀 快速開始

本模型是通過特定方式合併多個預訓練語言模型得到的，你可以根據以下信息來使用和了解該模型。

✨ 主要特性

• 基於多個優質預訓練模型合併，利用不同模型的特性。
• 嘗試使用 della_linear 方法進行合併，探索新的模型組合方式。
• 在測試階段表現出較好的上下文保持能力和角色貼合度，輸出的散文豐富多樣，較少出現 GPT 風格表述。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

測試階段情況

(2024 年 12 月 18 日)： 該模型在處理上下文方面表現出色，能很好地貼合角色和提示。輸出的散文豐富多樣，大多沒有 GPT 風格的表述。唯一的問題是，模型似乎總是以相似的方式解釋輸入（可能是由於 self_attn 層的原因）。因此，即使每次滑動的措辭不同，輸出也總是傾向於遵循某個特定的主題或方向（響應越長，開頭設定的方向偏差越大）。一個奇特的現象是，錯誤是可預測的——如果模型錯誤拼寫了用戶的名字（比如打亂字母順序等；作者自己的名字比較複雜），那麼在後續的滑動中，它總是會錯誤拼寫這個名字。但它會自動修正。不過，如果名字的第一次出現拼寫錯誤，後續的實例會被修正。重複情況較少，如果出現重複，可以啟用 DRY。XTC 似乎效果不錯。

作者考慮通過調整模型順序來平衡 inflatebot/MN-12B-Mag-Mell-R1 的影響，或者使用該模型的基礎模型，通過不同的合併方法重新合併整個模型，以緩解這個問題。

參數設置

• 上下文大小： 建議不超過 20k，否則連貫性可能會下降。
• 聊天模板： ChatML
• 採樣器： Temperature-Last 設置為 1 - 1.25，Min-P 設置為 0.1 - 0.25 是可行的，但尚未進行微調。如果出現重複情況，啟用 DRY。XTC 似乎效果良好。

量化信息

• 靜態 GGUF 量化版本可在 mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-GGUF 獲取。
• iMatrix 量化版本可在 mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-i1-GGUF 獲取。

合併詳情

合併方法

該模型使用 della_linear 合併方法，以 TheDrummer/UnslopNemo-12B-v4.1 為基礎模型進行合併。

合併的模型

以下模型參與了合併：

• inflatebot/MN-12B-Mag-Mell-R1
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS

配置信息

以下是用於生成該模型的 YAML 配置：

models:
  - model: TheDrummer/UnslopNemo-12B-v4.1
    parameters:
      weight: 0.25
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight: 0.25
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight: 0.2
      density: 0.4
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: 0.30
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4.1
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: false
  int8_mask: true
  epsilon: 0.05
  lambda: 1

🔧 技術細節

該模型是使用 mergekit 工具，通過 della_linear 方法合併多個預訓練語言模型得到的。在合併過程中，不同模型的權重和密度等參數被精心設置，以達到預期的效果。同時，在測試過程中發現了模型在輸入解釋和輸出方向上的一些特點，並針對這些問題提出了可能的解決方案。

📄 許可證

本模型採用 apache-2.0 許可證。

模型信息表格

今天我們努力奮鬥，每天我們都在拼搏，但今晚我們盡情玩樂。