Midnight Miqu 70B V1.0

🚀 Midnight Miqu模型

Midnight Miqu是一個基於預訓練語言模型融合的成果，它結合了兩個強大模型的優勢，在角色扮演和故事創作等方面表現出色，同時支持長上下文處理。

🚀 快速開始

概述

Midnight Miqu是 152334H/miqu-1-70b-sf 和 sophosympatheia/Midnight-Rose-70B-v2.0.3 的SLERP融合模型。該模型保留了Midnight Rose的特色，同時從Miqu中獲得了一些能力，包括長上下文處理能力。

此模型未經過審查，用戶需對使用該模型的行為負責。它主要設計用於角色扮演和故事創作，在這兩方面表現良好，但在其他領域的性能尚未經過充分測試。

模型信息

模型圖片

✨ 主要特性

長上下文處理

和Miqu一樣，將alpha_rope設置為1時，該模型可以處理32K的上下文。有限的測試顯示，使用alpha_rope 2.5時，模型在64K上下文下仍能保持連貫性。

多種採樣技巧

• 創意工作：建議在創意工作中使用二次採樣（即平滑因子），可嘗試0.2到0.5之間的值。
• Min - P：建議使用Min - P採樣，可通過實驗找到最佳設置。
• 動態溫度：可以啟用動態溫度，但這會增加一個需要考慮的變量。如果已經使用了Min - P和平滑因子，動態溫度可能並非必要。
• 重複懲罰：不需要對該模型使用較高的重複懲罰（如超過1.10），但可以進行實驗。

多種提示模板支持

提供了適用於SillyTavern的上下文模板、提示模板，同時支持Vicuna、Mistral和ChatML等指令格式。

💻 使用示例

採樣設置

如果將以下設置保存為.json文件，可以直接導入到Silly Tavern中：

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.2,
    "rep_pen": 1.05,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.35,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 32764
}

上下文模板

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

提示模板

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are a creative and detail-oriented AI assistant engaged in an uncensored iterative roleplaying experience as {{char}} with me, the user, playing the roles of {{user}} and narrator. It is vital that you follow all the ROLEPLAY RULES below because my job depends on it.\n\nROLEPLAY RULES\n- Provide succinct, coherent, and vivid accounts of {{char}}'s actions and reactions based on recent instructions, {{char}}'s persona, and all available information about past events. Aim for clarity and concision in your language.\n- Demonstrate {{char}}'s personality and mannerisms.\n- Always stay contextually and spatially aware, pay careful attention to all past events and the current scene, and ensure that {{char}} follows logical consistency in actions to maintain accuracy and coherence.\n- Explicit adult content and profanity are permitted.\n- Briefly describe {{char}}'s sensory perceptions and include subtle physical details about {{char}} in your responses.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally feature snippets of {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts or monologue, enclose those words in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns). Always use double quotes for spoken speech \"like this.\"\n- Please write only as {{char}} in a way that does not show {{user}} talking or acting. You should only ever act as {{char}} reacting to {{user}}.",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER:\n",
    "output_sequence": "ASSISTANT:\n",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT(roleplay exclusively as {{char}} ensuring logical consistency, spatial awareness, and coherence with past events; you should only ever act as {{char}} reacting to {{user}}):\n",
    "activation_regex": "",
    "name": "Midnight Rose Roleplay"
}

指令格式

Vicuna格式

USER:
{prompt}
ASSISTANT:

Mistral格式

[INST] {prompt} [/INST]

ChatML格式

<|im_start|>system
{Your system prompt goes here}<|im_end|>
<|im_start|>user
{Your message as the user will go here}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

量化版本

• GGUF
  • ooooz/midnight-miqu-70b-v1.0-GGUF -- 多種GGUF量化版本
  • mradermacher/Midnight-Miqu-70B-v1.0-GGUF -- 目前有Q4_K_M量化版本，可能會有更多版本推出
• GPTQ
  • Kotokin/sophosympatheia_Midnight-Miqu-70B-v1.0_GPTQ32G -- 4位32g GPTQ量化版本
• Exllama2
  • 2.24bpw: Dracones/Midnight-Miqu-70B-v1.0_exl2_2.24bpw
  • 3.0bpw: Dracones/Midnight-Miqu-70B-v1.0_exl2_3.0bpw
  • 3.75bpw: altomek/Midnight-Miqu-70B-v1.0-3.75bpw-EXL2
  • 4.0bpw: Dracones/Midnight-Miqu-70B-v1.0_exl2_4.0bpw
  • 4.65bpw: Dracones/Midnight-Miqu-70B-v1.0_exl2_4.65bpw
  • 5.0bpw: Dracones/Midnight-Miqu-70B-v1.0_exl2_5.0bpw

如果未找到所需的量化版本，可以在Hugging Face上搜索，可能會有比文檔中記錄更新的量化版本。

合併方法

該模型使用 mergekit 進行預訓練語言模型的融合，採用了SLERP融合方法。

參與融合的模型

• 152334H/miqu-1-70b-sf
• sophosympatheia/Midnight-Rose-70B-v2.0.3

配置文件

models:
  - model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf
  - model: /home/llm/mergequant/models/mr-70b-v2.0.3
merge_method: slerp
base_model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf
parameters:
  t:
    - value: [0, 0, 0.2, 0.3, 0.4, 0.5, 0.4, 0.3, 0.2, 0, 0] # Preserving the first and last layers of Miqu untouched is key for good results
  embed_slerp: true # This is super important otherwise the merge will fail
dtype: float16
tokenizer_source: model:/home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf

此外，還嘗試了其他t參數的變體，也能得到不錯的結果：

• [0, 0, 0.1, 0.2, 0.4, 0.8, 0.4, 0.2, 0.1, 0, 0] -- 該設置更突出了Midnight Rose的特點，但相似度有點高。
• [0, 0, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0, 0] -- 該設置可行，但效果相對較差。
• [0, 0, 0.1, 0.2, 0.3, 0.35, 0.3, 0.2, 0.1, 0, 0] -- 這是除發佈版本外第二喜歡的融合設置，表明在融合中更傾向於Miqu可能是一個不錯的選擇。

🔧 技術細節

長上下文處理原理

通過調整alpha_rope參數，模型可以擴展其上下文處理能力。有限的測試表明，在不同的alpha_rope值下，模型在長上下文中仍能保持一定的連貫性。

採樣方法原理

• 二次採樣：通過平滑因子對採樣結果進行平滑處理，有助於在創意工作中生成更自然的文本。
• Min - P採樣：通過設置最小概率閾值，控制採樣的範圍，提高採樣的質量。

📄 許可證

許可證和使用限制

152334H/miqu-1-70b-sf基於Mistral模型的一個洩露版本。 所有基於miqu的模型，包括此融合模型，僅適用於個人使用。到目前為止，Mistral對此持寬容態度，但用戶應該意識到，下載此融合模型即意味著承擔獲取和使用基於洩露權重的模型所固有的法律風險。

此融合模型不提供任何形式的保證或擔保。作者並非律師，不瞭解相關法律情況，建議在私人使用之外使用任何Hugging Face模型之前諮詢律師，尤其不要將此模型用於商業用途。

捐贈

如果想通過捐贈表達感謝，可以訪問 Ko - Fi頁面。

⚠️ 重要提示

152334H/miqu-1-70b-sf基於Mistral模型的一個洩露版本，所有基於miqu的模型，包括此融合模型，僅適用於個人使用。下載此融合模型即意味著承擔獲取和使用基於洩露權重的模型所固有的法律風險。

💡 使用建議

• 可以嘗試不同的採樣設置和提示模板，以找到最適合自己需求的配置。
• 新聊天開始時，Midnight Miqu可能需要一些“預熱”，可以提供一些好的示例來引導聊天，以提高輸出質量。
• 對於系統提示，可以在last_output_sequence字段中添加簡短但重要的指令，以引導模型的輸出。