Nemomix Unleashed 12B

🚀 NemoMix-Unleashed-12B

NemoMix-Unleashed-12B 是一個使用 mergekit 合併預訓練語言模型得到的項目。它在對話生成方面有一定優勢，尤其在高上下文場景下減少了重複問題，適合角色扮演和故事講述。

🚀 快速開始

信息詳情

我曾努力改進 ChatML 合併，但結果很糟糕。因為大家添加的特殊標記 ID 不同，甚至無法為它們創建一個合適的聯合分詞器。此外，我還在一些模型的上下文長度方面有了有趣的發現。你可以在這個鏈接查看具體情況：https://www.captiongenerator.com/v/2303039/marinaraspaghetti's-merging-experience 。

這次合併與我之前的嘗試有所不同，它似乎不太容易出現重複問題，尤其是在高上下文場景下，這對我來說很棒！我可能會進一步改進它，但目前感覺已經很不錯了，非常適合角色扮演和故事講述。

指令格式

唉，是關於 Mistral Instruct 的問題。

更新：原來我們一直使用的格式是錯誤的，剛剛從 MistralAI 官方團隊成員那裡得知了正確的格式。

這讓我開始懷疑自己之前所瞭解的一切。

指令格式如下：

<s>[INST]{system}[/INST]{response}</s>[INST]{user's message}[/INST]{response}</s>

參數設置

我建議將溫度（Temperature）設置為 1.0 - 1.25，Top A 設置為 0.1 或 Min P 設置為 0.01 - 0.1，DRY 設置為 0.8/1.75/2/0。溫度低於 1.0 時也適用。無需更多設置。

具體設置

你可以從這個鏈接使用我確切的設置（使用 Mistral Base/Customized 文件夾中的設置，也建議查看 Mistral Improved 文件夾）：https://huggingface.co/MarinaraSpaghetti/SillyTavern-Settings/tree/main 。

GGUF 模型

https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF

EXL2 模型

https://huggingface.co/Statuo/NemoMix-Unleashed-EXL2-8bpw

📚 詳細文檔

合併詳情

合併方法

該模型使用 della_linear 合併方法，以 E:\mergekit\mistralaiMistral-Nemo-Base-2407 為基礎進行合併。

合併的模型

合併中包含以下模型：

• E:\mergekit\intervitens_mini-magnum-12b-v1.1
• E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
• E:\mergekit\Sao10K_MN-12B-Lyra-v1
• E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
• E:\mergekit\mistralaiMistral-Nemo-Instruct-2407

配置文件

以下是用於生成該模型的 YAML 配置：

models:
  - model: E:\mergekit\mistralaiMistral-Nemo-Instruct-2407
    parameters:
      weight: 0.1
      density: 0.4
  - model: E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
    parameters:
      weight: 0.12
      density: 0.5
  - model: E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
    parameters:
      weight: 0.2
      density: 0.6
  - model: E:\mergekit\Sao10K_MN-12B-Lyra-v1
    parameters:
      weight: 0.25
      density: 0.7
  - model: E:\mergekit\intervitens_mini-magnum-12b-v1.1
    parameters:
      weight: 0.33
      density: 0.8
merge_method: della_linear
base_model: E:\mergekit\mistralaiMistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
dtype: bfloat16
tokenizer_source: base

📄 許可證

本項目採用 apache-2.0 許可證。

💰 捐贈支持

如果你喜歡我的工作，可以考慮在此處捐贈，感謝！ https://ko-fi.com/spicy_marinara