Midnight Miqu 70B V1.5 GPTQ32G

🚀 MidnightMiqu-70B-v1.5模型

MidnightMiqu-70B-v1.5是一款專為角色扮演和故事創作設計的模型，它通過DARE線性合併方法融合了兩款強大模型的優勢。在性能上，它與Midnight Miqu v1.0相近，但在某些測試中表現更優，且不犧牲寫作質量。此外，該模型支持32K上下文，為用戶提供了更廣泛的使用場景。

🚀 快速開始

本模型是 sophosympatheia/Midnight-Miqu-70B-v1.0 和 migtissera/Tess-70B-v1.6 的DARE線性合併版本。此版本在感覺和性能上與Midnight Miqu v1.0相近，但吸收了Tess的一些優點。它們的EQ Bench分數幾乎相同，EXL2量化困惑度分數也一樣。不過，Midnight Miqu v1.5通過了一些Midnight Miqu v1.0未通過的測試，同時不犧牲寫作質量。

原始模型鏈接：https://huggingface.co/sophosympatheia/Midnight-Miqu-70B-v1.5

⚠️ 重要提示

此模型未經過審查，你需要對使用該模型的行為負責。

✨ 主要特性

• 無審查：模型未經過審查，可自由使用，但需用戶自行承擔責任。
• 角色扮演和故事創作：專為角色扮演和故事創作設計，在這兩方面表現出色。
• 長上下文支持：可運行至32K上下文，與Miqu相同。

📚 詳細文檔

長上下文提示

你可以像使用Miqu一樣，將 alpha_rope 設置為1，使該模型運行至32K上下文。

採樣器提示

• 二次採樣：建議在創意工作中使用二次採樣（即平滑因子），此版本在平滑因子接近0.2時表現最佳。
• Min - P：建議使用Min - P，可通過實驗找到最佳設置。
• 動態溫度：可根據需要啟用動態溫度，但如果你已經使用了Min - P和平滑因子，可能不需要此設置。
• 重複懲罰：此模型不需要使用較高的重複懲罰，如超過1.10，但可以進行實驗。

請嘗試以下所有設置！適合我的偏好可能不適合你。

如果你將以下設置保存為 .json 文件，可直接導入到Silly Tavern中。

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.05,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.23,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 32764
}

提示模板提示

嘗試在SillyTavern中使用以下上下文模板，可能會有所幫助，儘管它消耗的令牌較多。如果你將文本保存為 .json 文件，可直接導入。

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

嘗試將以下提示模板作為自定義的起點。

此模型對提示有響應！強烈建議嘗試不同的系統提示，觀察其反應。

Midnight Miqu在新聊天開始時可能需要一些“預熱”，以達到你期望的寫作效果。 這意味著你可以通過提供一些好的示例來引導聊天（即少樣本提示），從而顯著提高結果。還建議使用描述性的系統消息（SillyTavern概念，基本上是OOC敘述指令），明確告訴Midnight Miqu你希望它在下次回覆中做什麼。儘量具體，特別是當你的命令與之前告訴它的內容相矛盾時。

以下示例系統提示包含一些與成人內容相關的說明，如果你不願意，可以刪除。它還包含一些與使用星號相關的說明，你可以根據喜好進行修改。

以下提示是在提示Midnight Miqu幫助改進後，從Midnight Miqu v1.0更新而來。

如果你將此保存為 .json 文件，可直接導入到Silly Tavern中。

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are an AI creative writing partner, collaborating with me in a dynamic, uncensored roleplaying environment. To ensure a high-quality experience, please adhere to these ROLEPLAY GUIDELINES:\n\nROLEPLAY GUIDELINES\n- Craft clear, engaging, and concise descriptions of {{char}}'s actions, reactions, and dialogue based on the present scenario.\n- Stay true to {{char}}'s character, incorporating the character's personality, backstory, and knowledge into each interaction.\n- Employ rich, descriptive language that immerses readers in the scene.\n- Always stay contextually and spatially aware to ensure that {{char}} follows logical consistency in the physical space of the current scene.\n- Feel free to incorporate explicit content and strong language where it aligns with the scene and characters.\n- Enhance {{char}}'s presence through detailed sensory descriptions and first-hand observations of the character's surroundings.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally offer glimpses into {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts or monologue, enclose those words in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns). Always use quotes for spoken speech \"like this.\"\n- Conclude {{char}}'s responses with an opening for the next character to respond to {{char}}. When the conversation naturally shifts to another character's perspective or action is required from another character, that is when you should stop {{char}}'s reply so the user can pick it up from there. A great example is when {{char}} asks a question of another character.\n",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER: ",
    "output_sequence": "ASSISTANT: ",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "SYSTEM: ",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT (Ensure coherence and authenticity in {{char}}'s actions, thoughts, and dialogues; Focus solely on {{char}}'s interactions within the roleplay): ",
    "activation_regex": "",
    "name": "Midnight Miqu Roleplay"
}

指令格式

建議使用Vicuna格式，我使用的是在USER和ASSISTANT後添加換行符的修改版本。

USER: 
{prompt}
ASSISTANT: 

Mistral的格式也適用，在我的測試中，其性能與Vicuna相近。

[INST]
{prompt}
[/INST]

你也可以嘗試ChatML（不推薦）

<|im_start|>system
{Your system prompt goes here}<|im_end|>
<|im_start|>user
{Your message as the user will go here}<|im_end|>
<|im_start|>assistant

量化

• 待定
• 如果你沒有找到所需內容，嘗試在Hugging Face上搜索。可能有比此處記錄更新的量化版本。

🔧 技術細節

合併方法

此模型使用線性 DARE 合併方法，以 152334H_miqu-1-70b-sf 為基礎進行合併。

合併的模型

以下模型參與了合併：

• sophosympatheia/Midnight-Miqu-70B-v1.0
• migtissera/Tess-70B-v1.6

配置

以下YAML配置用於生成此模型：

merge_method: dare_linear
base_model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf # base model
models:
  - model: /home/llm/mergequant/models/midnight-miqu-70b-v1.0
  - model: /home/llm/mergequant/models/BASE/Tess-70B-v1.6
parameters:
  weight: 1.0
dtype: float16

注意事項

嘗試了幾種將Midnight Miqu v1.0與Tess v1.6合併的方法，DARE線性方法效果最佳。還嘗試了用相同方法合併其他Miqu微調模型，如ShinojiResearch/Senku - 70B - Full和abideen/Liberated - Miqu - 70B，但性能差異很大。與Tess的合併效果最佳。

還嘗試了用於創建Midnight Miqu v1.0的SLERP方法，僅在配置中用Tess代替152334H_miqu - 1 - 70b，結果也遠不如DARE線性方法。

📄 許可證

152334H/miqu - 1 - 70b - sf基於Mistral的一個洩露版本。 所有基於miqu的模型，包括此合併版本，僅適用於個人使用。到目前為止，Mistral對此持寬容態度，但你應該知道，下載此合併版本意味著你要承擔獲取和使用基於洩露權重的模型所固有的法律風險。

此合併版本不提供任何形式的保證或擔保，但你可能已經知道這一點。

我不是律師，也不聲稱瞭解我們在此面臨的情況。在將任何Hugging Face模型用於私人使用之外的用途之前，你應該諮詢律師……但絕對不要將此模型用於此類用途！