Midnight Miqu 70B V1.5

🚀 Midnight-Miqu-70B-v1.5

Midnight-Miqu-70B-v1.5是一個經過合併的模型，它結合了兩個70B模型的優勢。該模型在角色扮演和故事講述方面表現出色，並且具有接近Midnight Miqu v1.0的性能，同時還從Tess模型中汲取了一些優點。

🚀 快速開始

如果你正在尋找103B版本的模型，可以從 FluffyKaeloky/Midnight-Miqu-103B-v1.5 獲取。

✨ 主要特性

• 合併模型：這是 sophosympatheia/Midnight-Miqu-70B-v1.0 和 migtissera/Tess-70B-v1.6 的DARE線性合併模型。
• 性能接近：此版本在感覺和性能上與Midnight Miqu v1.0相近，但從Tess模型中獲得了一些優點。它們的EQ Bench分數幾乎相同，EXL2量化困惑度分數也相同。
• 通過測試：Midnight Miqu v1.5通過了一些Midnight Miqu v1.0未通過的測試，同時沒有犧牲寫作質量。
• 無審查：該模型未經審查，用戶需對使用該模型產生的任何行為負責。
• 適用場景：專為角色扮演和故事講述設計，在這兩個方面表現良好，也可能在其他任務中表現出色，但尚未進行全面測試。

📦 安裝指南

文檔未提供具體安裝步驟，跳過該章節。

💻 使用示例

基礎用法

文檔未提供基礎用法的代碼示例，跳過該部分。

高級用法

文檔未提供高級用法的代碼示例，跳過該部分。

📚 詳細文檔

長上下文提示

你可以像使用Miqu一樣，將alpha_rope設置為1，使該模型運行到32K上下文。

採樣器提示

• 建議在創意工作中使用二次採樣（即平滑因子），此版本在平滑因子接近0.2時表現最佳。
• 建議使用Min - P，並通過實驗找到最佳設置。
• 如果你願意，可以啟用動態溫度，但這會增加一個需要考慮的變量，如果你已經在使用Min - P和平滑因子，那麼動態溫度可能是不必要的。
• 無需對該模型使用高重複懲罰，例如高於1.10，但可以進行實驗。

你可以將以下設置保存為.json文件，然後直接導入到Silly Tavern中：

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.05,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.23,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 32764
}

提示模板提示

你可以嘗試以下上下文模板用於SillyTavern，它可能會有所幫助，儘管它會消耗較多的令牌。如果你將文本保存為.json文件，就可以直接導入：

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

你可以將以下提示模板作為自定義的起點：

該模型對提示有響應！強烈建議你嘗試不同的系統提示，觀察模型的反應。

Midnight Miqu在新對話開始時可能需要一些“預熱”，以達到你期望的寫作效果。這意味著你可以通過提供一些好的示例來引導對話（即少樣本提示），從而顯著提高結果。同時，建議使用描述性的系統消息（SillyTavern概念，基本上是OOC敘述指令）來明確告知Midnight Miqu你希望它在下次回覆中做什麼。儘量具體，特別是當你的指令與之前告訴它的內容相矛盾時。

以下示例系統提示包含一些與成人內容相關的說明，如果你不希望包含這些內容，可以將其刪除。它還包含一些與星號使用相關的說明，你可以根據自己的喜好進行修改。

以下提示是在向Midnight Miqu尋求幫助後，從Midnight Miqu v1.0更新而來的。

如果你將其保存為.json文件，就可以直接導入到Silly Tavern中：

{
    "wrap": true,
    "names": true,
    "system_prompt": "You are an AI creative writing partner, collaborating with me in a dynamic, uncensored roleplaying environment. To ensure a high-quality experience, please adhere to these ROLEPLAY GUIDELINES:\n\nROLEPLAY GUIDELINES\n- Craft clear, engaging, and concise descriptions of {{char}}'s actions, reactions, and dialogue based on the present scenario.\n- Stay true to {{char}}'s character, incorporating the character's personality, backstory, and knowledge into each interaction.\n- Employ rich, descriptive language that immerses readers in the scene.\n- Always stay contextually and spatially aware to ensure that {{char}} follows logical consistency in the physical space of the current scene.\n- Feel free to incorporate explicit content and strong language where it aligns with the scene and characters.\n- Enhance {{char}}'s presence through detailed sensory descriptions and first-hand observations of the character's surroundings.\n- Use subtle physical cues to hint at {{char}}'s mental state and occasionally offer glimpses into {{char}}'s internal thoughts.\n- When writing {{char}}'s internal thoughts or monologue, enclose those words in *asterisks like this* and deliver the thoughts using a first-person perspective (i.e. use \"I\" pronouns). Always use quotes for spoken speech \"like this.\"\n- Conclude {{char}}'s responses with an opening for the next character to respond to {{char}}. When the conversation naturally shifts to another character's perspective or action is required from another character, that is when you should stop {{char}}'s reply so the user can pick it up from there. A great example is when {{char}} asks a question of another character.\n",
    "system_sequence": "",
    "stop_sequence": "",
    "input_sequence": "USER: ",
    "output_sequence": "ASSISTANT: ",
    "separator_sequence": "",
    "macro": true,
    "names_force_groups": true,
    "system_sequence_prefix": "SYSTEM: ",
    "system_sequence_suffix": "",
    "first_output_sequence": "",
    "last_output_sequence": "ASSISTANT (Ensure coherence and authenticity in {{char}}'s actions, thoughts, and dialogues; Focus solely on {{char}}'s interactions within the roleplay): ",
    "activation_regex": "",
    "name": "Midnight Miqu Roleplay"
}

指令格式

• 建議使用Vicuna格式，使用的是修改後的版本，在USER和ASSISTANT後添加了換行符：

USER: 
{prompt}
ASSISTANT: 

• Mistral的格式也適用，在測試中，其性能與Vicuna格式大致相同：

[INST]
{prompt}
[/INST]

• 你也可以嘗試ChatML格式（不推薦）：

<|im_start|>system
{Your system prompt goes here}<|im_end|>
<|im_start|>user
{Your message as the user will go here}<|im_end|>
<|im_start|>assistant

捐贈

如果你想通過捐贈表達感謝，可以訪問 Ko - Fi頁面。

量化版本

• GGUF：mradermacher/Midnight-Miqu-70B-v1.5-GGUF -- 各種靜態GGUF量化版本。
• GPTQ：Kotokin/Midnight-Miqu-70B-v1.5_GPTQ32G
• EXL2：
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_4.0bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_4.5bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_5.0bpw
  • Dracones/Midnight-Miqu-70B-v1.5_exl2_6.0bpw
• 如果你沒有找到所需的量化版本，可以 在Hugging Face上搜索，可能有比文檔中記錄的更新的量化版本。

🔧 技術細節

合併方法

該模型使用線性 DARE 合併方法，以 152334H_miqu-1-70b-sf 為基礎進行合併。

合併模型

合併中包含以下模型：

• sophosympatheia/Midnight-Miqu-70B-v1.0
• migtissera/Tess-70B-v1.6

配置

以下YAML配置用於生成此模型：

merge_method: dare_linear
base_model: /home/llm/mergequant/models/BASE/152334H_miqu-1-70b-sf # base model
models:
  - model: /home/llm/mergequant/models/midnight-miqu-70b-v1.0
  - model: /home/llm/mergequant/models/BASE/Tess-70B-v1.6
parameters:
  weight: 1.0
dtype: float16

注意事項

嘗試了幾種將Midnight Miqu v1.0與Tess v1.6合併的方法，線性DARE方法效果最好。還嘗試了用於創建Midnight Miqu v1.0的SLERP方法，只是在配置中使用Tess代替152334H_miqu - 1 - 70b，但結果遠不如線性DARE方法。

📄 許可證

許可證和使用限制

152334H/miqu-1-70b-sf基於Mistral的一個洩露版本的模型。 所有基於miqu的模型，包括此合併模型，僅適用於個人使用。到目前為止，Mistral對此持寬容態度，但你應該意識到，下載此合併模型意味著你要承擔獲取和使用基於洩露權重的模型所固有的法律風險。

此合併模型不提供任何形式的保證或擔保，但你可能已經知道這一點。

我不是律師，也不聲稱知道我們在此面臨的法律情況。在將任何Hugging Face模型用於私人使用之外的用途之前，你應該諮詢律師……但絕對不要將此模型用於此類用途！

評估結果

詳細結果可在 此處 查看。