Midnight Miqu 70B V1.5 GPTQ32G

🚀 MidnightMiqu-70B-v1.5模型

MidnightMiqu-70B-v1.5是一款专为角色扮演和故事创作设计的模型，它通过DARE线性合并方法融合了两款强大模型的优势。在性能上，它与Midnight Miqu v1.0相近，但在某些测试中表现更优，且不牺牲写作质量。此外，该模型支持32K上下文，为用户提供了更广泛的使用场景。

🚀 快速开始

本模型是 sophosympatheia/Midnight-Miqu-70B-v1.0 和 migtissera/Tess-70B-v1.6 的DARE线性合并版本。此版本在感觉和性能上与Midnight Miqu v1.0相近，但吸收了Tess的一些优点。它们的EQ Bench分数几乎相同，EXL2量化困惑度分数也一样。不过，Midnight Miqu v1.5通过了一些Midnight Miqu v1.0未通过的测试，同时不牺牲写作质量。

原始模型链接：https://huggingface.co/sophosympatheia/Midnight-Miqu-70B-v1.5

⚠️ 重要提示

此模型未经过审查，你需要对使用该模型的行为负责。

✨ 主要特性

• 无审查：模型未经过审查，可自由使用，但需用户自行承担责任。
• 角色扮演和故事创作：专为角色扮演和故事创作设计，在这两方面表现出色。
• 长上下文支持：可运行至32K上下文，与Miqu相同。

📚 详细文档

长上下文提示

你可以像使用Miqu一样，将 alpha_rope 设置为1，使该模型运行至32K上下文。

采样器提示

• 二次采样：建议在创意工作中使用二次采样（即平滑因子），此版本在平滑因子接近0.2时表现最佳。
• Min - P：建议使用Min - P，可通过实验找到最佳设置。
• 动态温度：可根据需要启用动态温度，但如果你已经使用了Min - P和平滑因子，可能不需要此设置。
• 重复惩罚：此模型不需要使用较高的重复惩罚，如超过1.10，但可以进行实验。

请尝试以下所有设置！适合我的偏好可能不适合你。

如果你将以下设置保存为 .json 文件，可直接导入到Silly Tavern中。

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.05,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.23,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 32764
}

提示模板提示

尝试在SillyTavern中使用以下上下文模板，可能会有所帮助，尽管它消耗的令牌较多。如果你将文本保存为 .json 文件，可直接导入。

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

尝试将以下提示模板作为自定义的起点。

此模型对提示有响应！强烈建议尝试不同的系统提示，观察其反应。

Midnight Miqu在新聊天开始时可能需要一些“预热”，以达到你期望的写作效果。 这意味着你可以通过提供一些好的示例来引导聊天（即少样本提示），从而显著提高结果。还建议使用描述性的系统消息（SillyTavern概念，基本上是OOC叙述指令），明确告诉Midnight Miqu你希望它在下次回复中做什么。尽量具体，特别是当你的命令与之前告诉它的内容相矛盾时。

以下示例系统提示包含一些与成人内容相关的说明，如果你不愿意，可以删除。它还包含一些与使用星号相关的说明，你可以根据喜好进行修改。

以下提示是在提示Midnight Miqu帮助改进后，从Midnight Miqu v1.0更新而来。

如果你将此保存为 .json 文件，可直接导入到Silly Tavern中。

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are an AI creative writing partner, collaborating with me in a dynamic, uncensored roleplaying environment. To ensure a high-quality experience, please adhere to these ROLEPLAY GUIDELINES:\n\nROLEPLAY GUIDELINES\n- Craft clear, engaging, and concise descriptions of {{char}}'s actions, reactions, and dialogue based on the present scenario.\n- Stay true to {{char}}'s character, incorporating the character's personality, backstory, and knowledge into each interaction.\n- Employ rich, descriptive language that immerses readers in the scene.\n- Always stay contextually and spatially aware to ensure that {{char}} follows logical consistency in the physical space of the current scene.\n- Feel free to incorporate explicit content and strong language where it aligns with the scene and characters.\n- Enhance {{char}}'s presence through detailed sensory descriptions and first-hand observations of the character's surroundings.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally offer glimpses into {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts or monologue, enclose those words in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns). Always use quotes for spoken speech \"like this.\"\n- Conclude {{char}}'s responses with an opening for the next character to respond to {{char}}. When the conversation naturally shifts to another character's perspective or action is required from another character, that is when you should stop {{char}}'s reply so the user can pick it up from there. A great example is when {{char}} asks a question of another character.\n",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER: ",
    "output_sequence": "ASSISTANT: ",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "SYSTEM: ",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT (Ensure coherence and authenticity in {{char}}'s actions, thoughts, and dialogues; Focus solely on {{char}}'s interactions within the roleplay): ",
    "activation_regex": "",
    "name": "Midnight Miqu Roleplay"
}

指令格式

建议使用Vicuna格式，我使用的是在USER和ASSISTANT后添加换行符的修改版本。

USER: 
{prompt}
ASSISTANT: 

Mistral的格式也适用，在我的测试中，其性能与Vicuna相近。

[INST]
{prompt}
[/INST]

你也可以尝试ChatML（不推荐）

<|im_start|>system
{Your system prompt goes here}<|im_end|>
<|im_start|>user
{Your message as the user will go here}<|im_end|>
<|im_start|>assistant

量化

• 待定
• 如果你没有找到所需内容，尝试在Hugging Face上搜索。可能有比此处记录更新的量化版本。

🔧 技术细节

合并方法

此模型使用线性 DARE 合并方法，以 152334H_miqu-1-70b-sf 为基础进行合并。

合并的模型

以下模型参与了合并：

• sophosympatheia/Midnight-Miqu-70B-v1.0
• migtissera/Tess-70B-v1.6

配置

以下YAML配置用于生成此模型：

merge_method: dare_linear
base_model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf # base model
models:
  - model: /home/llm/mergequant/models/midnight-miqu-70b-v1.0
  - model: /home/llm/mergequant/models/BASE/Tess-70B-v1.6
parameters:
  weight: 1.0
dtype: float16

注意事项

尝试了几种将Midnight Miqu v1.0与Tess v1.6合并的方法，DARE线性方法效果最佳。还尝试了用相同方法合并其他Miqu微调模型，如ShinojiResearch/Senku - 70B - Full和abideen/Liberated - Miqu - 70B，但性能差异很大。与Tess的合并效果最佳。

还尝试了用于创建Midnight Miqu v1.0的SLERP方法，仅在配置中用Tess代替152334H_miqu - 1 - 70b，结果也远不如DARE线性方法。

📄 许可证

152334H/miqu - 1 - 70b - sf基于Mistral的一个泄露版本。 所有基于miqu的模型，包括此合并版本，仅适用于个人使用。到目前为止，Mistral对此持宽容态度，但你应该知道，下载此合并版本意味着你要承担获取和使用基于泄露权重的模型所固有的法律风险。

此合并版本不提供任何形式的保证或担保，但你可能已经知道这一点。

我不是律师，也不声称了解我们在此面临的情况。在将任何Hugging Face模型用于私人使用之外的用途之前，你应该咨询律师……但绝对不要将此模型用于此类用途！