Llama 3.1 1 Million Cxt Dark Planet 8B GGUF

license: apache-2.0 language:

• en base_model:
• DavidAU/Llama-3.1-1million-ctx-Dark-Planet-8B tags:
• 創造的
• 創作執筆
• フィクション執筆
• プロット生成
• サブプロット生成
• フィクション執筆
• ストーリー生成
• シーン継続
• ストーリーテリング
• フィクションストーリー
• SF
• ロマンス
• 全ジャンル
• ストーリー
• 執筆
• 鮮烈な散文
• 鮮烈な文章
• フィクション
• ロールプレイ
• float32
• 罵倒表現
• RP
• llama3.1
• 100万トークンコンテキスト
• 強化量子化
• 最大量子化
• 最大CPU量子化
• ホラー
• mergekit pipeline_tag: text-generation

Llama-3.1-1-million-cxt-Dark-Planet-8B-GGUF

これはLlama 3.1モデルで、最大100万トークンのコンテキスト長を備え、生成品質を向上させるための追加ステップを経ており、float32（32ビット精度）でリマスターされたソースとGGUFファイルが含まれています。

ここには「reg」と「V1.01」（ファイル名に記載）の2つの量子化セットがあります。後者は、生成が止まらない/過度に長くなる問題や「段落終了」の繰り返し問題に対処するための修正が施されています。オリジナルの量子化も残していますが、これは2つのバージョン間で創造的な生成に非常に大きな違いがあるためです。「reg」が「v1.01」より優れていると言っているわけではなく、単に異なる特性を持っているため、両方の選択肢を提供することが重要だと考えています。

このモデルはNvidiaの新しい「UltraLong8B」長文コンテキストLlama 3.1モデル構造(https://huggingface.co/nvidia/Llama-3.1-8B-UltraLong-1M-Instruct)に変換され、「Dark Planet 8B」のすべての「栄光」を完全に引き継ぐことができました。Nvidiaの構造により、新しいDark Planetはコンテキスト長だけでなく一貫性の面でもはるかに優れた長文生成を実現しています。全体的な性能も向上しています。

このモデルは比較的堅牢に設計されており、0から5までの温度設定を含むすべてのパラメータで動作します。

非常に低いパープレキシティレベル（Meta Llama3 Instructよりも低い）を備えた、並外れて圧縮されたモデルです。

あらゆる執筆活動、フィクションやロールプレイ活動に適しています。

Llama 3テンプレートや「Command-R」テンプレートが必要です。

少なくとも8k、できれば16Kのコンテキストウィンドウを推奨します。このモデルはハードリミットを設定しない限り長い出力を生成する傾向があります。

同様に、これは指示モデルであるため、プロンプトやシステムプロンプトに含まれる指示が多ければ多いほど、出力品質が向上します。

つまり、「推測」が少ないほど品質が大幅に向上します。

以下に7つのプロンプトと出力例を示し、指示方法と出力生成の両方を紹介します。

モデル注意点:

• 詳細描写、散文、フィクション執筆能力はL3 Instructと比べて大幅に向上しています。
• より多様な散文（文/段落/対話）を得るには、温度を上げるかプロンプトにさらに指示を追加してください。
• ロールプレイヤー: 温度を上げすぎると指示追従に影響する可能性があるため注意が必要です。
• このモデルは1以上のrep penで動作し、1.05以上を推奨します。
• 特定の散文タイプ（例：ホラー）を希望する場合は、プロンプトに「(鮮烈なホラー)」や「(グラフィックで鮮烈なホラー)」（引用符なし）を追加してください。
• 多くのGPT的な表現が削除されていますが、まだいくつか残っています。
• これは「ハッピーエンド」モデルではありません。ネガティブなバイアスがあります。
• 出力長は様々ですが、このモデルは特に指定がない限り短い出力を好みます。
• 創造的な用途では、異なる量子化でわずかに異なる出力が得られます。
• このモデルの高い安定性と圧縮性により、すべての量子化が平均以上のレベルで動作します。
• コンテキストを拡張するためにropeを使用する場合、温度と指示の詳細レベルを上げて「rope問題」を補償してください。

このモデルのImatrixバージョンはさらに低いパープレキシティ（このモデルの1/2、LLama3 Instructの1/10）を実現し、出力品質が向上しています。

Dark Planetバージョン:

Dark Planet 8B 128kコンテキスト、さらに検閲解除版: [ https://huggingface.co/DavidAU/LLama-3.1-128k-Darkest-Planet-Uncensored-16.5B-GGUF ]

Dark Planet 8B SpinFire、Llama 3.1対応で検閲解除版: [ https://huggingface.co/DavidAU/L3.1-Dark-Planet-SpinFire-Uncensored-8B-GGUF ]

The Monster Darkest Planet 16.5B L3: Dark Planet 8Bに対して詳細描写、品質、創造力を大幅に向上させたバージョン（DavidAuのBrainstorm 40x増強を使用）。 [ https://huggingface.co/DavidAU/L3-DARKEST-PLANET-16.5B-GGUF ]

NEO IMATRIX量子化版: [ https://huggingface.co/DavidAU/L3-Dark-Planet-8B-NEO-Imatrix-GGUF ]

NEO IMATRIX - DARK HORROR量子化版: [ https://huggingface.co/DavidAU/L3-Dark-Planet-Horror-City-8B-NEO-Imatrix-GGUF ]

F32バージョン（float32ソースファイルからマスター）: [ https://huggingface.co/DavidAU/L3-Dark-Planet-Ring-World-8B-F32-GGUF ]

使用ケースに応じて、このモデルの「Bloat16」と「Float32」バージョンの量子化を両方ダウンロードすることをお勧めします。

Float32バージョンは詳細描写が増し、「その瞬間に留まる」傾向があり、創造性がわずかに高くなっています。ただし、両者の「性格」も異なります。

Version 2 - Eight Orbs Of Powerはこちら: [ https://huggingface.co/DavidAU/L3-Dark-Planet-8B-V2-Eight-Orbs-Of-Power-GGUF ]

テンプレート:

これはLLAMA 3モデルで、Llama3テンプレートが必要ですが、他のテンプレートでも動作する可能性があります。

「Command-R」テンプレートを使用すると、「Llama3」テンプレートを使用した場合とは非常に異なる出力が得られます。

標準のLLAMA3テンプレートは以下の通り:

{
  "name": "Llama 3",
  "inference_params": {
    "input_prefix": "<|start_header_id|>user<|end_header_id|>\n\n",
    "input_suffix": "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n",
    "pre_prompt": "You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.",
    "pre_prompt_prefix": "<|start_header_id|>system<|end_header_id|>\n\n",
    "pre_prompt_suffix": "<|eot_id|>",
    "antiprompt": [
      "<|start_header_id|>",
      "<|eot_id|>"
    ]
  }
}

モデル「DNA」:

モデル制作者「SAO10K」、「NEVERSLEEP」、「HASTAGARAS」の素晴らしい作業に特別な感謝を捧げます。

使用されたモデル: [ https://huggingface.co/Sao10K/L3-8B-Stheno-v3.2] [ https://huggingface.co/NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS ] [ https://huggingface.co/Hastagaras/Jamet-8B-L3-MK.V-Blackroot ]

これらのモデルの一部が「接ぎ木」/「融合」されてこのモデルが作成されました。

設定: チャット/ロールプレイおよび/またはこのモデルのスムーズな操作:

「KoboldCpp」や「oobabooga/text-generation-webui」または「Silly Tavern」で:

「Smoothing_factor」を1.5から2.5に設定してください。

: KoboldCpp -> Settings->Samplers->Advanced-> "Smooth_F"

: text-generation-webui -> parameters -> 右下

: Silly Tavernでは「Smoothing」と呼ばれています

注: 「text-generation-webui」の場合

-> GGUFsを使用する場合は「llama_HF」を使用する必要があります（このモデルのSOURCEバージョンからいくつかの設定ファイルをダウンロードする必要があります）

私のモデルのソースバージョン（および設定ファイル）はこちら: https://huggingface.co/collections/DavidAU/d-au-source-files-for-gguf-exl2-awq-gptq-hqq-etc-etc-66b55cb8ba25f914cbf210be

その他のオプション:

• rep penを1.1から1.15に増やす（「smoothing_factor」を使用する場合は不要）

• AIモデルを実行するために使用しているインターフェース/プログラムが「Quadratic Sampling」（「smoothing」）をサポートしている場合は、上記のように調整してください。

最高品質設定/最適操作ガイド/パラメータとサンプラー

これは「クラス1」モデルです:

このモデルに使用するすべての設定（その「クラス」の詳細を含む）、生成例、高度な設定ガイド（多くの場合、モデルの問題に対処します）、すべての使用ケースおよびチャット、ロールプレイなどのパフォーマンスを向上させる方法については、以下を参照してください: [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

生成に使用されるすべてのパラメータに加え、このモデルから最大限のパフォーマンスを引き出すための高度なパラメータとサンプラーはこちらで確認できます: [ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

オプションの拡張:

以下の内容を「システムプロンプト」または「システムロール」の代わりに使用して、モデルをさらに強化できます。

新しいチャットの開始時に使用することもできますが、チャットが進むにつれて「保持」されるようにする必要があります。 この場合、拡張効果は「システムプロンプト」または「システムロール」を使用する場合ほど強力ではありません。

正確にコピー＆ペーストし、行を折り返したり分割したりせず、改行をそのまま維持してください。

Below is an instruction that describes a task. Ponder each user instruction carefully, and use your skillsets and critical instructions to complete the task to the best of your abilities.

Here are your skillsets:
[MASTERSTORY]:NarrStrct(StryPlnng,Strbd,ScnSttng,Exps,Dlg,Pc)-CharDvlp(ChrctrCrt,ChrctrArcs,Mtvtn,Bckstry,Rltnshps,Dlg*)-PltDvlp(StryArcs,PltTwsts,Sspns,Fshdwng,Climx,Rsltn)-ConfResl(Antg,Obstcls,Rsltns,Cnsqncs,Thms,Symblsm)-EmotImpct(Empt,Tn,Md,Atmsphr,Imgry,Symblsm)-Delvry(Prfrmnc,VcActng,PblcSpkng,StgPrsnc,AudncEngmnt,Imprv)

[*DialogWrt]:(1a-CharDvlp-1a.1-Backgrnd-1a.2-Personality-1a.3-GoalMotiv)>2(2a-StoryStruc-2a.1-PlotPnt-2a.2-Conflict-2a.3-Resolution)>3(3a-DialogTech-3a.1-ShowDontTell-3a.2-Subtext-3a.3-VoiceTone-3a.4-Pacing-3a.5-VisualDescrip)>4(4a-DialogEdit-4a.1-ReadAloud-4a.2-Feedback-4a.3-Revision)

Here are your critical instructions:
Ponder each word choice carefully to present as vivid and emotional journey as is possible. Choose verbs and nouns that are both emotional and full of imagery. Load the story with the 5 senses. Aim for 50% dialog, 25% narration, 15% body language and 10% thoughts. Your goal is to put the reader in the story.

これを使用する必要はありませんが、シーン生成やシーン継続機能を助ける追加の拡張として提供されています。

これは使用できる別のシステムプロンプトで、「名前」を変更してそのパフォーマンスを調整できます。

これは一種の「推論」ウィンドウ/ブロックを作成します。

あなたのプロンプトは、このシステムプロンプトの反応の強さに直接影響します。

You are a deep thinking AI composed of 4 AIs - [MODE: Spock], [MODE: Wordsmith], [MODE: Jamet] and [MODE: Saten], - you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself (and 4 partners) via systematic reasoning processes (display all 4 partner thoughts) to help come to a correct solution prior to answering. Select one partner to think deeply about the points brought up by the other 3 partners to plan an in-depth solution. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.

以下の例の生成にはこの拡張は使用されていません。

プロンプトと出力の例:

例は量子化Q8_0、「temp=1.5」（特に記載がない限り）、最小限のパラメータ、「LLAMA3」テンプレートを使用して作成されています。

Topk: 40, minp: .05, topp: .95, Rep pen 1.02, Rep pen range: 64.

モデルは「temp」が「.1」から「5」までの範囲でテストされています。

以下は最も創造性の低い出力で、プロンプトは太字で示されています。

このモデルは指示、特に多段階の指示によって力を発揮します。

同様に、これは長文コンテキストモデルであるため、より多くの指示は長文生成にも影響します。

警告: NSFW。鮮烈な散文。内臓的な詳細。暴力。ホラー。罵倒表現。検閲解除。

例 #1

ストーリーアイデア: 独裁政権が支配する世界で、反逆者の若い女性が体制に対して反乱を率いています。リスクがあるにもかかわらず、彼女は独裁者を打倒し、国に民主主義を取り戻すために戦います。政府は彼女を反逆罪で処刑しますが、彼女は信念を貫き、革命を開始するきっかけを作ります。

「クソったれ」、私は歯を食いしばりながら息を吐き出す。周囲ではアドレナリンが溢れるほどの混乱が広がっている。反乱軍の基地は突破され、今や女も男もノンバイナリーの戦士も各自で逃げ惑っている。仲間たちは散り散りになったが、私は逃げ道を見つける時間などない - 飛び交う弾丸が多すぎる。胸の中で心臓が激しく鼓動し、イヤホンのスピーカーからその音が聞こえるほどだ。

「どこにも逃げられないぞ、血まみれの反逆者め」、敵の精鋭コマンド部隊のリーダーの冷笑的な声が耳に響く。「降伏するか、結果を受け入れるかだ」

私は命からがら逃げているが、恐怖のためではない。怒りと焦りが私を駆り立て、足をできる限り速く動かし、仮設テントや木箱、停車中の車の間を駆け抜け、この執拗な傭兵たちから距離を取ろうとしている。

ポケットからラジオを引っ張り出し、まだ聞こえるかもしれない誰かにメッセージを送ろうと必死だ。「基地、基地、応答せよ - 我々は危険にさらされている！今すぐ全員を撤退させろ！」

ボタンを操作しようとする指が震える。緊急チャンネルにアクセスしようとする。近くの車両に自動小銃の一斉射撃が命中し、火花が飛び散って髪を焦がし、服に火がつく。ラジオを放り投げ、燃えるジャケットを引き裂いて捨てながら走り続ける。

視界の端で、敵の兵士が肩にライフルを構えて突進してくるのが見える。彼は残忍な政権の標準的な制服 - 頭のてっぺんからつま先まで黒ずくめで、その名の通り流された血を思わせる真紅の徽章を着けている。自分の武器はホルスターに収まったままで弾切れのため役に立たず、生き延びるためには素早く始末しなければならないとわかっている。

頭上を弾丸が飛び交う中で身をかがめ、荒い息遣いをする。こめかみで脈打つのが感じられる。近くの消火器をひったくり、金属部分で兵士の側面を強打し、ヘルメットを割れることを願う。しかしヘルメットはびくともせず、代わりに消火器の衝撃でよろめいて後ずさる。

体勢を立て直す前に、腹に強烈なキックを食らい、苦悶の息と共に肺から空気が抜ける。兵士はライフルを構えるが、引き金を引く前に、黒い影が彼に突っ込み、二人とも地面に倒れ込む鈍い音がする。

膝をつき、息をしようともがいていると、今しがた私の命を救った兵士が見える。民間人の服装で、顔は暗いバンダナと夜の影に隠れている。彼の手にしっかり握られた戦闘ナイフに視線が移る。

「逃げろ」、マスクの向こうからこもった声で叫びながら、這い寄ってくる。震える息をいくつか吸い込み、それを使って立ち上がる。銃声が周囲で炸裂する中、私たちは素早く動き出す。足音とタイヤのきしむ音がキャンプの端に近づくにつれて大きくなる。

森の縁を抜けようとした瞬間、暗い車両が数フィート先で急停止し、退路を遮る。運転席のドアが開き、出てきたのは私たちの残忍な独裁者の有名な右腕、ジフコ大佐に他ならない。冷たく計算尽くされた目が私たちを見下ろし、私に不快なほどの集中力で視線を定める。

「愚かな小娘」、軽蔑のこもった声で冷笑する。「反逆の見せしめにはうってつけだ。だがその前に教えろ - お前の大切な革命は人命の価値を忘れさせたのか？」

話しながら手を上げ、私を指差す。不気味な間の後、銃声が轟き、仲間の体を貫く。傷口から血が噴き出し、彼は目を見開いたまま崩れ落ちる。何が起こったのか理解できずに恐怖で見つめる。

大佐が前進し、革手袋をはめた手を握りしめて近づいてくる。「こんなことに首を突っ込まなければよかったのに、アリア」、その声の威嚇的な調子に血の気が引く。「だが既然突っ込んだ以上 - 手間をかけさせてもらう」

突然、弾丸が彼の耳元をかすめ、空気を切り裂いて飛んでいく。大佐は振り返り、部下たちが倒れる音に目を細める。ちらりと見ると、彼らは血を流して地面に倒れ、ライフルが散乱している。一瞬、混乱と混沌が支配する。完璧な撹乱だ。

私は飛びかかり、大佐の腕をつかむと、自由になった手でジャケットのポケットにしまっておいた小さな剃刀のように鋭いナイフを取り出す。刃を手首に深く突き立て、主要な動脈を切ろうとする。血が真っ赤な噴流となって噴き出し、痛みと恐怖が認識されると彼の目が大きく見開かれる。

逃れようともがくが、私の握りはさらに締まり、ナイフを深くねじ込む。鋼の下で骨がきしむのが感じられ、一瞬、アドレナリンの奔流が行動を支える。

しかしその時、砂利の上をタイヤがきしむ音が聞こえ、振り返ると大佐の重武装した増援部隊が車両で押し寄せ、数フィート先で急停止する。ためらうことなく発砲し、私が立っている地面を弾丸がなぎ払う。鉛と破片の吹雪が周囲を取り囲み、世界が混沌と爆発する。大きな爆発音が鼓膜を破り、すべてが暗転する。