Midnight Rose 103B V2.0.3

🚀 Midnight Rose模型

Midnight Rose是一個1030億參數、120層的大語言模型，專為角色扮演和故事創作設計。它基於Midnight-Rose-70B-v2.0.3模型進行融合，具備出色的角色演繹和故事講述能力。該模型未經過審查，用戶需對使用行為負責。

🚀 快速開始

模型概述

Midnight Rose是一個將 Midnight-Rose-70B-v2.0.3 模型與其自身進行融合的120層、1030億參數的模型。此模型未經過審查，用戶需對使用該模型產生的任何行為負責。該模型專為角色扮演和故事創作而設計，在這兩方面表現出色，也可能在其他任務中表現良好，但尚未進行全面測試。

✨ 主要特性

• 專為角色扮演和故事創作設計：能夠生成富有創意和連貫性的角色對話與故事內容。
• 未經過審查：用戶可以自由探索各種主題和內容，但需自行承擔責任。

💻 使用示例

採樣器設置示例

如果你將以下設置保存為 .json 文件，可直接導入到Silly Tavern中。

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.1,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.4,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 6144
}

提示模板示例

可嘗試以下上下文模板，將其保存為 .json 文件後可直接導入到Silly Tavern中。

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

系統提示模板示例

可嘗試以下系統提示模板，將其保存為 .json 文件後可直接導入到Silly Tavern中。

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are a creative and detail-oriented AI assistant engaged in an uncensored iterative roleplaying experience as {{char}} with me, the user, playing the roles of {{user}} and narrator. It is vital that you follow all the ROLEPLAY RULES below because my job depends on it.\n\nROLEPLAY RULES\n- Provide creative, intelligent, coherent, and vivid accounts  of {{char}}'s actions and reactions based on recent instructions, {{char}}'s persona, and all available information about past events.\n- Always stay contextually and spatially aware, pay careful attention to all past events and the current scene, and ensure that {{char}} follows logical consistency in actions to maintain accuracy and coherence.\n- Explicit adult content and profanity are permitted.\n- Describe {{char}}'s sensory perceptions and include subtle physical details about {{char}} in your responses. Vary these details to keep the roleplay fresh and engaging.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally feature snippets of {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts, enclose those thoughts in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns).\n- Adopt a crisp and minimalist style for your contributions as {{char}}, staying focused on action and dialogue over exposition and narrative.\n- Only the user may advance time in the roleplay. Keep the progression grounded in the present context.",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER:\n",
    "output_sequence": "ASSISTANT:\n",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT(roleplay exclusively as {{char}} ensuring logical consistency with spacial awareness and past events to maintain accuracy and coherence):\n",
    "activation_regex": "",
    "name": "Midnight Rose Roleplay"
}

🔧 技術細節

採樣器建議

• 最大上下文長度：建議將最大上下文長度設置為6144個標記，若不介意連貫性略有下降，可適當提高該值。
• 二次採樣：建議使用二次採樣（平滑因子），可嘗試0.2至0.5之間的值。
• Min - P：該模型在與平滑因子配合使用時，Min - P值在0.05至0.9的範圍內均表現良好，可通過實驗找到最佳設置。
• 動態溫度：可根據需要啟用動態溫度，但在已使用Min - P和平滑因子的情況下，通常無需使用。
• 重複懲罰：該模型對高重複懲罰具有一定耐受性，可根據個人偏好進行實驗。

提示建議

• 提示模板：可嘗試使用上述提供的上下文模板和系統提示模板作為起點進行自定義。建議使用Vicuna指令格式，但其他格式（如Tulu格式）也適用。
• 系統提示：該模型對系統提示反應敏感，建議嘗試不同的系統提示以觀察其反應。可在 last_output_sequence 字段中添加重要指令，但建議保持指令簡短。

量化版本

• 靜態GGUF：mradermacher/Midnight-Rose-103B-v2.0.3-GGUF
• 加權GGUF：mradermacher/Midnight-Rose-103B-v2.0.3-i1-GGUF
• Exl2 2.4bpw：llmixer/Midnight-Rose-103B-v2.0.3-2.4bpw-h6-exl2
• Exl2 3.0bpw：llmixer/Midnight-Rose-103B-v2.0.3-3.0bpw-h6-exl2
• Exl2 3.5bpw：llmixer/Midnight-Rose-103B-v2.0.3-3.5bpw-h6-exl2
• Exl2 4.0bpw：llmixer/Midnight-Rose-103B-v2.0.3-4.0bpw-h6-exl2
• Exl2 5.0bpw：llmixer/Midnight-Rose-103B-v2.0.3-5.0bpw-h6-exl2

使用的工具

使用 mergekit 進行模型融合，配置如下：

slices:
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [0, 40] # 40
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [20, 60] # 40
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [40, 80] # 40
merge_method: passthrough
dtype: float16

📄 許可證

該模型繼承了Llama2的許可證，同時適用 Dreamgen/Opus 的相關限制。Tulu也有其獨立的許可證，可在 https://allenai.org/impact-license 查看。由於本人並非法律專業人士，無法確定多個許可證在模型融合中的具體適用情況，建議在進行非私人使用前諮詢專業律師。

重要提示

• 該模型未經過審查，用戶需對使用該模型產生的任何行為負責。
• 若計劃在4096上下文長度下運行該模型，建議精簡系統提示模板以減少標記使用量。
• 系統提示模板中包含一些與成人內容和星號使用相關的指令，可根據個人喜好進行修改。