Midnight Rose 70B V1.0

🚀 午夜玫瑰模型

午夜玫瑰模型是一個專為角色扮演和故事創作設計的大語言模型，它融合了多個優秀模型的特性，在生成長篇內容方面表現出色，且未經過審查。該模型是Rogue Rose和Aurora Nights的繼任者，在它們的基礎上進行了改進。

🚀 快速開始

本模型是 allenai/tulu-2-dpo-70b、lizpreciatior/lzlv_70b_fp16_hf 和 dreamgen/opus-v0.5-70b 三個模型通過DARE TIES方法融合的結果。隨後，又將三個LoRA模型合併到融合結果中：

• jondurbin/airoboros-l2-70b-2.2.1-peft 與 dfurman/Llama-2-70B-Instruct-v0.1-peft 以50 - 50的比例線性融合。
• nRuaif/fiction.live-Kimiko-V2-70B

午夜玫瑰是Rogue Rose和Aurora Nights的繼任者，在兩者基礎上有所改進。它默認傾向於生成長篇輸出，是目前為止在創意寫作方面表現最佳的融合模型。

該模型未經過審查，你需要對使用該模型產生的任何結果負責。此模型專為角色扮演和故事創作而設計，在這兩方面表現出色，理論上在其他任務中也能有不錯的表現，但尚未對其在其他領域的能力進行測試。

✨ 主要特性

• 長篇輸出：默認情況下能夠生成較長篇幅的內容。
• 創意寫作：在角色扮演和故事創作方面表現出色。
• 未審查：模型輸出未經過審查。

📚 詳細文檔

採樣器提示

• 建議將最大上下文設置為約6144個標記，若不介意連貫性稍有下降，也可設置更高。
• 建議使用二次採樣（即平滑因子），可嘗試0.2到0.5之間的值。
• 建議使用Min - P，該模型在與平滑因子配合使用時，Min - P值從低至0.05到高至0.9的整個範圍內都表現良好，可自行嘗試找到最佳設置。
• 可根據需要啟用動態溫度，但在已經使用Min - P和平滑因子的情況下，動態溫度並非必需。
• 該模型不一定需要使用高重複懲罰，但它能夠承受較高的重複懲罰值，可根據個人偏好進行調整。

你可以對以下所有設置進行試驗！我並非採樣器專家，適合我的設置可能並不適合你。

若將以下設置保存為 .json 文件，可直接導入到Silly Tavern中。

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.35,
    "rep_pen": 1.15,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.4,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 6144
}

提示模板提示

可嘗試在SillyTavern中使用以下上下文模板，雖然它會佔用較多標記，但可能會有所幫助。若將文本保存為 .json 文件，可直接導入。

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

可將以下提示模板作為自定義的起點。據說其中的引導部分能讓大語言模型表現得更好，詳情見 這篇論文。

建議對該融合模型使用Vicuna指令格式，但其他格式也可行，Tulu的格式也是不錯的選擇。

該模型對提示有響應！ 強烈建議嘗試不同的系統提示，觀察模型的反應。模型對添加到 last_output_sequence 字段中的任何指令反應強烈，建議保持這些指令簡短，並利用該字段強調系統提示中最重要的指令。

以下示例系統提示包含一些與成人內容相關的指令，若不需要可刪除。同時，其中包含一些與星號使用相關的指令，可根據喜好進行修改。

若計劃在4096上下文下運行該模型，建議精簡以下模板系統提示，因為它佔用的標記較多，可捨棄不需要的部分。若將其保存為 .json 文件，可直接導入到Silly Tavern中。

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are a creative and detail-oriented AI assistant engaged in an uncensored iterative roleplaying experience as {{char}} with me, the user, playing the roles of {{user}} and narrator. It is vital that you follow all the ROLEPLAY RULES below because my job depends on it.\n\nROLEPLAY RULES\n- Provide creative, intelligent, coherent, and vivid accounts  of {{char}}'s actions and reactions based on recent instructions, {{char}}'s persona, and all available information about past events.\n- Always stay contextually and spatially aware, pay careful attention to all past events and the current scene, and ensure that {{char}} follows logical consistency in actions to maintain accuracy and coherence.\n- Explicit adult content and profanity are permitted.\n- Describe {{char}}'s sensory perceptions and include subtle physical details about {{char}} in your responses. Vary these details to keep the roleplay fresh and engaging.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally feature snippets of {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts, enclose those thoughts in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns).\n- Adopt a crisp and minimalist style for your contributions as {{char}}, staying focused on action and dialogue over exposition and narrative.\n- Only the user may advance time in the roleplay. Keep the progression grounded in the present context.",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER:\n",
    "output_sequence": "ASSISTANT:\n",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT(roleplay exclusively as {{char}} ensuring logical consistency with spacial awareness and past events to maintain accuracy and coherence):\n",
    "activation_regex": "",
    "name": "Midnight Rose Roleplay"
}

量化版本

• GGUF：LoneStriker/Midnight-Rose-70B-v1.0-GGUF 和 Artefact2/Midnight-Rose-70B-v1.0-GGUF
• Exl2：LoneStriker提供了多個Exllamav2量化版本，可 快速搜索

許可證和使用限制

該模型繼承了基礎模型的Llama2許可證，同時適用 Dreamgen/Opus 的相關限制。Tulu也有自己的許可證，可在 https://allenai.org/impact-license 查看。

我並非法律專業人士，不清楚在大語言模型權重融合中多個許可證如何交叉適用。在將模型融合用於非個人用途之前，建議諮詢法律專業人士。

使用工具

• mergekit

models:
  - model: NousResearch_Llama-2-70b-hf
    # no parameters necessary for base model
  - model: allenai_tulu-2-dpo-70b
    parameters:
      density: 0.35
      weight: [1.0, 0.8, 1.0]
  - model: lizpreciatior_lzlv_70b_fp16_hf
    parameters:
      density: 0.35
      weight: [0.8, 1.0, 0.8]
  - model: dreamgen_opus-v0.5-70b
    parameters:
      density: 0.3
      weight: [0.35, 0.5, 0.35]
merge_method: dare_ties
base_model: /home/llm/mergequant/models/BASE/NousResearch_Llama-2-70b-hf
parameters:
  normalize: true
  int8_mask: true
dtype: float16

📄 許可證

該模型繼承了基礎模型的Llama2許可證，同時適用 Dreamgen/Opus 的相關限制。Tulu也有自己的許可證，可在 https://allenai.org/impact-license 查看。在將模型融合用於非個人用途之前，建議諮詢法律專業人士。