Midnight Rose 103B V2.0.3

🚀 MidnightRose

Midnight-Rose-70B-v2.0.3 を自身と融合した、120層、1030億パラメータのモデルです。ロールプレイングやストーリーテリングに最適化されています。

🚀 クイックスタート

このモデルは、ロールプレイングやストーリーテリングに特化した120層、1030億パラメータのモデルです。以下に、サンプラー設定、プロンプトテンプレート、量子化モデルの情報などを提供します。

✨ 主な機能

• ロールプレイングやストーリーテリングに最適化されています。
• 検閲されていないモデルで、ユーザー自身が責任を持って使用する必要があります。
• 他のタスクでも良好な性能を発揮する可能性がありますが、検証は行っていません。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

以下は、サンプラー設定の例です。これを .json ファイルとして保存すると、Silly Tavernに直接インポートできます。

{
    "temp": 1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0.12,
    "rep_pen": 1.1,
    "rep_pen_range": 2800,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "dynatemp": false,
    "min_temp": 0.8,
    "max_temp": 1.35,
    "dynatemp_exponent": 1,
    "smoothing_factor": 0.4,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 2,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 500,
    "max_length": 6144
}

高度な使用法

以下は、プロンプトテンプレートの例です。これをカスタマイズすることで、独自のプロンプトを作成できます。

{
    "story_string": "{{#if system}}{{system}}\n{{/if}}\nCONTEXTUAL INFORMATION\n{{#if wiBefore}}\n- World and character info:\n{{wiBefore}}\n{{/if}}\n{{#if description}}\n- {{char}}'s background and persona:\n{{description}}\n{{/if}}\n{{#if mesExamples}}\n{{mesExamples}}\n{{/if}}\n{{#if personality}}\n{{personality}}\n{{/if}}\n{{#if scenario}}\n- Roleplay scenario:\n{{scenario}}\n{{/if}}\n{{#if wiAfter}}{{wiAfter}}\n{{/if}}\n{{#if persona}}{{persona}}\n{{/if}}",
    "example_separator": "",
    "chat_start": "---\nTaking the above information into consideration, you must engage with {{user}} and others as {{char}} in the roleplay below this line. Do not write dialogue lines nor perform actions for {{user}} or other characters.\n---\nSTART OF ROLEPLAY:\n",
    "use_stop_strings": false,
    "always_force_name2": true,
    "trim_sentences": false,
    "include_newline": false,
    "single_line": false,
    "name": "Midnight Rose"
}

📚 ドキュメント

サンプラー設定のヒント

• 最大コンテキストは6144トークン程度に保つことをおすすめしますが、一貫性の低下を許容するなら、もっと高い値を設定できます。
• 二次サンプリング（平滑化係数）を使用することをおすすめします。0.2から0.5の間の値を試してみてください。
• Min-Pを使用することをおすすめします。このモデルは、平滑化係数と組み合わせると、0.05から0.9までの範囲のMin-P値で良好に動作するようです。
• 動的温度を有効にすることもできますが、既にMin-Pと平滑化係数を使用している場合は不要だと思います。
• このモデルでは高い繰り返しペナルティを使用する必要はありませんが、高いペナルティを許容するので、好みに合わせて適切な値を見つけてください。

プロンプトのヒント

• 以下のコンテキストテンプレートをSillyTavernで使用してみてください。トークンが多いので少し重いですが、役立つかもしれません。
• 以下のプロンプトテンプレートを起点に、独自のカスタマイズを試してみてください。誘導部分はLLMの性能を向上させるとされています。
• このモデルはプロンプトに反応します！システムプロンプトをいじって、モデルの反応を確認することをおすすめします。
• 以下の例のシステムプロンプトには、成人向けコンテンツに関する指示が含まれているので、必要に応じて削除してください。

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

Llama2のライセンスがベースモデルから引き継がれ、Dreamgen/Opus に適用される制限もあります。Tuluにも独自のライセンスがあり、https://allenai.org/impact-license で入手できます。私は弁護士ではなく、LLMモデルの重みをマージした場合の複数のライセンスの交差については詳しくないので、個人使用以外でモデルのマージを使用する前に弁護士に相談することをおすすめします。

ツールの使用

• mergekit を使用してモデルをマージしています。

slices:
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [0, 40] # 40
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [20, 60] # 40
  - sources:
      - model: /home/llm/mergequant/models/mr-v2.0.3
        layer_range: [40, 80] # 40
merge_method: passthrough
dtype: float16

量子化

• Static GGUF -- mradermacher/Midnight-Rose-103B-v2.0.3-GGUF
• Weighted GGUF -- mradermacher/Midnight-Rose-103B-v2.0.3-i1-GGUF
• Exl2 2.4bpw -- llmixer/Midnight-Rose-103B-v2.0.3-2.4bpw-h6-exl2
• Exl2 3.0bpw -- llmixer/Midnight-Rose-103B-v2.0.3-3.0bpw-h6-exl2
• Exl2 3.5bpw -- llmixer/Midnight-Rose-103B-v2.0.3-3.5bpw-h6-exl2
• Exl2 4.0bpw -- llmixer/Midnight-Rose-103B-v2.0.3-4.0bpw-h6-exl2
• Exl2 5.0bpw -- llmixer/Midnight-Rose-103B-v2.0.3-5.0bpw-h6-exl2

⚠️ 重要提示

このモデルは検閲されていないため、ユーザー自身が責任を持って使用する必要があります。また、複数のライセンスが交差する場合の法律的な問題については、弁護士に相談することをおすすめします。

💡 使用建议

サンプラー設定やプロンプトテンプレートは、好みに合わせてカスタマイズすることをおすすめします。また、システムプロンプトをいじって、モデルの反応を確認することで、より良い結果を得ることができます。