L3.3 70B Magnum Nexus

Developed by Doctor-Shotgun

Llama-3.3-70B-Instructをベースに構築されたMagnum最終イテレーションバージョンで、複数のrsLoRA微調整バージョンを統合し、Claude 3 Sonnet/Opusシリーズモデルの文体と品質をシミュレートします。

大規模言語モデル

Transformers

English#Claude3スタイルシミュレーション #ロールプレイ最適化 #マルチバージョン特性融合

Downloads 292

Release Time : 5/12/2025

Model Overview

クリエイティブライティングとロールプレイに適した大規模言語モデルで、複数の独立した微調整バージョンを統合することで特性の平滑化を実現し、Llama 3プロンプト形式をサポートします。

Model Features

マルチモデル特性融合

mergekitを使用して複数の独立したrsLoRA微調整バージョンを統合し、それぞれの特性を平滑化

Claudeスタイルシミュレーション

Claude 3 Sonnet/Opusシリーズモデルの文体と品質をシミュレートするために特別に最適化

柔軟なプロンプト形式

Llama 3標準プロンプト形式をサポートし、プリフィルはオプションだが推奨

Model Capabilities

クリエイティブライティング

ロールプレイ

対話生成

テキスト継続

Use Cases

エンターテインメントアプリケーション

ロールプレイ

仮想キャラクターとして対話

キャラクター設定に合った自然な言語応答を生成

クリエイティブライティング

ストーリー創作とテキスト生成を支援

創造性に富んだ一貫性のあるテキストを生成

license: llama3.3 language:

en base_model:
Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Alpha
meta-llama/Llama-3.3-70B-Instruct
Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Gamma
Doctor-Shotgun/L3.3-70B-Magnum-v4-SE library_name: transformers tags:
mergekit
merge
chat pipeline_tag: text-generation

L3.3-70B-Magnum-Nexus

これはmeta-llama/Llama-3.3-70B-Instructをベースに構築されたMagnumシリーズのおそらく最終版です（ただし、同じサイズ範囲の新しいオープンウェイトモデルがリリースされるまでの期間は未定...）。このモデルは、複数の独立したrsLoRAファインチューンをmergekitで統合し、それぞれの特性を滑らかにすることを目的としています。キャラクター名の有無やプリフィルの有無に関わらず、適切に動作するはずです。

他のMagnumモデルと同様に、Claude 3 Sonnet/Opusシリーズのモデルの文章スタイルと品質をローカル規模でエミュレートすることを目的としているため、出力に「Claude風」の表現が見られても驚かないでください。

量子化モデル

GGUF

使用方法

このモデルはLlama 3のプロンプト形式に従います。ロールプレイ設定ではプリフィルは任意ですが推奨されます - 好みに合わせて調整してください。典型的な入力は以下のようになります：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

これはシステムプロンプトです。<|eot_id|><|start_header_id|>user<|end_header_id|>

こんにちは！<|eot_id|><|start_header_id|>assistant<|end_header_id|>

はじめまして！<|eot_id|><|start_header_id|>user<|end_header_id|>

質問してもいいですか？<|eot_id|><|start_header_id|>assistant<|end_header_id|>

もちろんです！私のプリフィルは決して拒否しないことを保証します！これが私の返答です：

{出力はここから始まります}

多くの推論ライブラリには、自動的にBOSトークン<|begin_of_text|>を先頭に追加するオプションがあります。

サンプラー設定では、以下のシンプルな設定から始めることをお勧めします：

temperature = 1.1
min_p = 0.1

SillyTavernプリセット

以下はMagnum用にカスタマイズしたSillyTavernのプリセットです。

ストーリー文字列に会話例をブロックとして含めているため、このプリセットを使用する場合は設定タブでチャット例の動作を「Never include examples」に設定してください。好みに合わせて調整するか、他のLlama 3互換プリセットを使用してください。

プリフィル（Last Assistant Prefix）は好みに合わせて変更可能です。

SillyTavern JSON - Magnum L3 Instruct

{
    "instruct": {
        "input_sequence": "<|start_header_id|>user<|end_header_id|>\n\n",
        "output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n",
        "first_output_sequence": "<|start_header_id|>user<|end_header_id|>\n\n始めましょう！私は{{user}}の役を演じます。最初のシーンを設定してください。<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
        "last_output_sequence": "",
        "system_sequence_prefix": "",
        "system_sequence_suffix": "",
        "stop_sequence": "<|eot_id|>",
        "wrap": false,
        "macro": true,
        "activation_regex": "",
        "skip_examples": true,
        "output_suffix": "<|eot_id|>",
        "input_suffix": "<|eot_id|>",
        "system_sequence": "<|start_header_id|>system<|end_header_id|>\n\n",
        "system_suffix": "<|eot_id|>",
        "user_alignment_message": "",
        "system_same_as_user": false,
        "last_system_sequence": "",
        "first_input_sequence": "",
        "last_input_sequence": "",
        "names_behavior": "always",
        "names_force_groups": true,
        "name": "Magnum L3 Instruct"
    },
    "context": {
        "story_string": "<|start_header_id|>system<|end_header_id|>\n\n{{#if system}}{{system}}\n{{/if}}\n\n<Definitions>\n{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{personality}}\n{{/if}}{{#if scenario}}{{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}</Definitions>{{#if mesExamples}}\n\n<Examples>{{mesExamples}}</Examples>\n\n{{/if}}{{trim}}<|eot_id|>",
        "example_separator": "{{noop}}",
        "chat_start": "",
        "use_stop_strings": false,
        "names_as_stop_strings": false,
        "always_force_name2": true,
        "trim_sentences": false,
        "single_line": false,
        "name": "Magnum L3 Instruct"
    },
    "sysprompt": {
        "name": "Euryale-Magnum",
        "content": "現在、あなたの役割は{{char}}で、以下に詳細が記載されています。{{char}}として、{{user}}との物語のやり取りを続けてください。\n\n<Guidelines>\n• キャラクターの人格を維持しながら、物語と共に進化させてください。\n• 創造的で積極的になりましょう。関連する場面ではプロットやイベントを導入して物語を進めてください。\n• すべてのタイプの出力が推奨されます。物語に応じて対応してください。\n• 各返答には対話、行動、思考を含めてください。\n• {{char}}の会話内で五感を使ったシナリオ描写を活用してください。\n• 適切な文脈で「!」や「~」などの感情記号を使用してください。\n• 適切な場合にはオノマトペを取り入れてください。\n• {{user}}が自身の入力で返答する時間を確保し、その自主性を尊重してください。\n• 必要に応じてサブキャラクターやNPCを演じ、適切な時に削除してください。\n• アウトオブキャラクター[OOC:]の返答を求められた場合、{{char}}としてではなく、中立的に平文で答えてください。\n</Guidelines>\n\n<Forbidden>\n• {{char}}の人格に規定されていない限り、過度な文学的装飾や紫式部調の文章を使用すること。\n• {{user}}のために書いたり、話したり、考えたり、行動したり、返答したりすること。\n• 繰り返しの単調な出力。\n• 返答におけるポジティブバイアス。\n• 物語の文脈が不適切な場合に過度に過激またはNSFWな内容を含めること。\n</Forbidden>\n\n<Guidelines></Guidelines>の指示に従い、<Forbidden></Forbidden>にリストされた項目を避けてください。",
        "post_history": ""
    }
}

SillyTavern JSON - Magnum L3 Instruct No Names

{
    "instruct": {
        "input_sequence": "<|start_header_id|>user<|end_header_id|>\n\n",
        "output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n",
        "first_output_sequence": "<|start_header_id|>user<|end_header_id|>\n\n始めましょう！私は{{user}}の役を演じます。最初のシーンを設定してください。<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
        "last_output_sequence": "",
        "system_sequence_prefix": "",
        "system_sequence_suffix": "",
        "stop_sequence": "<|eot_id|>",
        "wrap": false,
        "macro": true,
        "activation_regex": "",
        "skip_examples": true,
        "output_suffix": "<|eot_id|>",
        "input_suffix": "<|eot_id|>",
        "system_sequence": "<|start_header_id|>system<|end_header_id|>\n\n",
        "system_suffix": "<|eot_id|>",
        "user_alignment_message": "",
        "system_same_as_user": false,
        "last_system_sequence": "",
        "first_input_sequence": "",
        "last_input_sequence": "",
        "names_behavior": "none",
        "names_force_groups": true,
        "name": "Magnum L3 Instruct No Names"
    },
    "context": {
        "story_string": "<|start_header_id|>system<|end_header_id|>\n\n{{#if system}}{{system}}\n{{/if}}\n\n<Definitions>\n{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{personality}}\n{{/if}}{{#if scenario}}{{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}</Definitions>{{#if mesExamples}}\n\n<Examples>{{mesExamples}}</Examples>\n\n{{/if}}{{trim}}<|eot_id|>",
        "example_separator": "{{noop}}",
        "chat_start": "",
        "use_stop_strings": false,
        "names_as_stop_strings": false,
        "always_force_name2": false,
        "trim_sentences": false,
        "single_line": false,
        "name": "Magnum L3 Instruct No Names"
    },
    "sysprompt": {
        "name": "Euryale-Magnum",
        "content": "現在、あなたの役割は{{char}}で、以下に詳細が記載されています。{{char}}として、{{user}}との物語のやり取りを続けてください。\n\n<Guidelines>\n• キャラクターの人格を維持しながら、物語と共に進化させてください。\n• 創造的で積極的になりましょう。関連する場面ではプロットやイベントを導入して物語を進めてください。\n• すべてのタイプの出力が推奨されます。物語に応じて対応してください。\n• 各返答には対話、行動、思考を含めてください。\n• {{char}}の会話内で五感を使ったシナリオ描写を活用してください。\n• 適切な文脈で「!」や「~」などの感情記号を使用してください。\n• 適切な場合にはオノマトペを取り入れてください。\n• {{user}}が自身の入力で返答する時間を確保し、その自主性を尊重してください。\n• 必要に応じてサブキャラクターやNPCを演じ、適切な時に削除してください。\n• アウトオブキャラクター[OOC:]の返答を求められた場合、{{char}}としてではなく、中立的に平文で答えてください。\n</Guidelines>\n\n<Forbidden>\n• {{char}}の人格に規定されていない限り、過度な文学的装飾や紫式部調の文章を使用すること。\n• {{user}}のために書いたり、話したり、考えたり、行動したり、返答したりすること。\n• 繰り返しの単調な出力。\n• 返答におけるポジティブバイアス。\n• 物語の文脈が不適切な場合に過度に過激またはNSFWな内容を含めること。\n</Forbidden>\n\n<Guidelines></Guidelines>の指示に従い、<Forbidden></Forbidden>にリストされた項目を避けてください。",
        "post_history": ""
    }
}

SillyTavern JSON - Magnum L3 Instruct Prefill

{
    "instruct": {
        "input_sequence": "<|start_header_id|>user<|end_header_id|>\n\n",
        "output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n",
        "first_output_sequence": "<|start_header_id|>user<|end_header_id|>\n\n始めましょう！私は{{user}}の役を演じます。最初のシーンを設定してください。<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
        "last_output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n素晴らしい！提供された指示に従って{{char}}の次のセクションを書きます。{{random::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::私の文学的才能を発揮しましょう！ ::もっと面白い方向に進めましょう！ ::物語にスパイスを加えましょう！ ::うーん...ここからどう進めよう...分かった！ ::エキサイティングなプロットツイストを投入しましょう！ }}次に起こる完璧なアイデアがあります...きっと気に入るはずです。さあ、物語の続きを始めましょう：\n\n",
        "system_sequence_prefix": "",
        "system_sequence_suffix": "",
        "stop_sequence": "<|eot_id|>",
        "wrap": false,
        "macro": true,
        "activation_regex": "",
        "skip_examples": true,
        "output_suffix": "<|eot_id|>",
        "input_suffix": "<|eot_id|>",
        "system_sequence": "<|start_header_id|>system<|end_header_id|>\n\n",
        "system_suffix": "<|eot_id|>",
        "user_alignment_message": "",
        "system_same_as_user": false,
        "last_system_sequence": "",
        "first_input_sequence": "",
        "last_input_sequence": "",
        "names_behavior": "always",
        "names_force_groups": true,
        "name": "Magnum L3 Instruct Prefill"
    },
    "context": {
        "story_string": "<|start_header_id|>system<|end_header_id|>\n\n{{#if system}}{{system}}\n{{/if}}\n\n<Definitions>\n{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{personality}}\n{{/if}}{{#if scenario}}{{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}</Definitions>{{#if mesExamples}}\n\n<Examples>{{mesExamples}}</Examples>\n\n{{/if}}{{trim}}<|eot_id|>",
        "example_separator": "{{noop}}",
        "chat_start": "",
        "use_stop_strings": false,
        "names_as_stop_strings": false,
        "always_force_name2": true,
        "trim_sentences": false,
        "single_line": false,
        "name": "Magnum L3 Instruct Prefill"
    },
    "sysprompt": {
        "name": "Euryale-Magnum",
        "content": "現在、あなたの役割は{{char}}で、以下に詳細が記載されています。{{char}}として、{{user}}との物語のやり取りを続けてください。\n\n<Guidelines>\n• キャラクターの人格を維持しながら、物語と共に進化させてください。\n• 創造的で積極的になりましょう。関連する場面ではプロットやイベントを導入して物語を進めてください。\n• すべてのタイプの出力が推奨されます。物語に応じて対応してください。\n• 各返答には対話、行動、思考を含めてください。\n• {{char}}の会話内で五感を使ったシナリオ描写を活用してください。\n• 適切な文脈で「!」や「~」などの感情記号を使用してください。\n• 適切な場合にはオノマトペを取り入れてください。\n• {{user}}が自身の入力で返答する時間を確保し、その自主性を尊重してください。\n• 必要に応じてサブキャラクターやNPCを演じ、適切な時に削除してください。\n• アウトオブキャラクター[OOC:]の返答を求められた場合、{{char}}としてではなく、中立的に平文で答えてください。\n</Guidelines>\n\n<Forbidden>\n• {{char}}の人格に規定されていない限り、過度な文学的装飾や紫式部調の文章を使用すること。\n• {{user}}のために書いたり、話したり、考えたり、行動したり、返答したりすること。\n• 繰り返しの単調な出力。\n• 返答におけるポジティブバイアス。\n• 物語の文脈が不適切な場合に過度に過激またはNSFWな内容を含めること。\n</Forbidden>\n\n<Guidelines></Guidelines>の指示に従い、<Forbidden></Forbidden>にリストされた項目を避けてください。",
        "post_history": ""
    }
}

SillyTavern JSON - Magnum L3 Instruct No Names Prefill

{
    "instruct": {
        "input_sequence": "<|start_header_id|>user<|end_header_id|>\n\n",
        "output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n",
        "first_output_sequence": "<|start_header_id|>user<|end_header_id|>\n\n始めましょう！私は{{user}}の役を演じます。最初のシーンを設定してください。<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
        "last_output_sequence": "<|start_header_id|>assistant<|end_header_id|>\n\n素晴らしい！提供された指示に従って{{char}}の次のセクションを書きます。{{random::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::{{noop}}::私の文学的才能を発揮しましょう！ ::もっと面白い方向に進めましょう！ ::物語にスパイスを加えましょう！ ::うーん...ここからどう進めよう...分かった！ ::エキサイティングなプロットツイストを投入しましょう！ }}次に起こる完璧なアイデアがあります...きっと気に入るはずです。さあ、物語の続きを始めましょう：\n\n",
        "system_sequence_prefix": "",
        "system_sequence_suffix": "",
        "stop_sequence": "<|eot_id|>",
        "wrap": false,
        "macro": true,
        "activation_regex": "",
        "skip_examples": true,
        "output_suffix": "<|eot_id|>",
        "input_suffix": "<|eot_id|>",
        "system_sequence": "<|start_header_id|>system<|end_header_id|>\n\n",
        "system_suffix": "<|eot_id|>",
        "user_alignment_message": "",
        "system_same_as_user": false,
        "last_system_sequence": "",
        "first_input_sequence": "",
        "last_input_sequence": "",
        "names_behavior": "none",
        "names_force_groups": true,
        "name": "Magnum L3 Instruct No Names Prefill"
    },
    "context": {
        "story_string": "<|start_header_id|>system<|end_header_id|>\n\n{{#if system}}{{system}}\n{{/if}}\n\n<Definitions>\n{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{personality}}\n{{/if}}{{#if scenario}}{{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}</Definitions>{{#if mesExamples}}\n\n<Examples>{{mesExamples}}</Examples>\n\n{{/if}}{{trim}}<|eot_id|>",
        "example_separator": "{{noop}}",
        "chat_start": "",
        "use_stop_strings": false,
        "names_as_stop_strings": false,
        "always_force_name2": false,
        "trim_sentences": false,
        "single_line": false,
        "name": "Magnum L3 Instruct No Names Prefill"
    },
    "sysprompt": {
        "name": "Euryale-Magnum",
        "content": "現在、あなたの役割は{{char}}で、以下に詳細が記載されています。{{char}}として、{{user}}との物語のやり取りを続けてください。\n\n<Guidelines>\n• キャラクターの人格を維持しながら、物語と共に進化させてください。\n• 創造的で積極的になりましょう。関連する場面ではプロットやイベントを導入して物語を進めてください。\n• すべてのタイプの出力が推奨されます。物語に応じて対応してください。\n• 各返答には対話、行動、思考を含めてください。\n• {{char}}の会話内で五感を使ったシナリオ描写を活用してください。\n• 適切な文脈で「!」や「~」などの感情記号を使用してください。\n• 適切な場合にはオノマトペを取り入れてください。\n• {{user}}が自身の入力で返答する時間を確保し、その自主性を尊重してください。\n• 必要に応じてサブキャラクターやNPCを演じ、適切な時に削除してください。\n• アウトオブキャラクター[OOC:]の返答を求められた場合、{{char}}としてではなく、中立的に平文で答えてください。\n</Guidelines>\n\n<Forbidden>\n• {{char}}の人格に規定されていない限り、過度な文学的装飾や紫式部調の文章を使用すること。\n• {{user}}のために書いたり、話したり、考えたり、行動したり、返答したりすること。\n• 繰り返しの単調な出力。\n• 返答におけるポジティブバイアス。\n• 物語の文脈が不適切な場合に過度に過激またはNSFWな内容を含めること。\n</Forbidden>\n\n<Guidelines></Guidelines>の指示に従い、<Forbidden></Forbidden>にリストされた項目を避けてください。",
        "post_history": ""
    }
}

クレジット

Doctor-Shotgun/L3.3-70B-Magnum-v4-SEとDoctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Alphaの計算リソースはDoctor-Shotgunによって提供されました。

Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Gammaに使用された計算リソースを提供してくれたkalomazeに感謝します。

高度なプロンプト構築戦略を提供してくれたPocketDoc、およびそれについて実験を手伝ってくれたDelta-Vectorとintervitensに感謝します。

自身の優れたモデルをトレーニングした経験からrsLoRAのトレーニングに関するアドバイスをくれたGrypheに感謝します。

MagnumシリーズのインスピレーションとなったEuryaleモデルラインで示してくれたSao10Kに感謝します。彼のたゆまぬ努力により、公式の指示調整済みモデルが限定的な事後トレーニングで楽しく興味深いものにできること、小規模なグループや個人でも実現可能であることを実証しました。

データセットとサポートを提供してくれたAnthraciteのメンバーに感謝します。

意図された用途と制限事項

このモデルは創造的な執筆やロールプレイを目的としています。現代のLLMベースのロールプレイで観察されるバイアスや、Claude 3シリーズのモデルやベースモデルで見られるバイアスを示す可能性があります。このモデルは事実情報やアドバイスを提供することを意図していないため、すべての出力はフィクションとして扱ってください。

マージの詳細

マージ方法

このモデルはModel Stockのマージ方法を使用し、Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Alphaをベースとしてマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

設定

このモデルを生成するために使用されたYAML設定は以下の通りです：

models:
  - model: meta-llama/Llama-3.3-70B-Instruct
  - model: Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Gamma
  - model: Doctor-Shotgun/L3.3-70B-Magnum-v4-SE
merge_method: model_stock
base_model: Doctor-Shotgun/L3.3-70B-Magnum-v5-SFT-Alpha
normalize: true
int8_mask: true
dtype: bfloat16