MN GRAND Gutenberg Lyra4 Lyra 23B V2 GGUF

🚀 MN-GRAND-Gutenburg-Lyra4-Lyra-23B-V2-GGUF

このモデルは、Mistral Nemo モデルで、最大コンテキストが 128k + (131,000 +) のバージョン 2 です。このバージョンは、バージョン 1 と比べてはるかに安定しており、「手馴染ませられた」状態になっていますが、依然としてバージョン 1 の 90% 以上の「狂気」と「生」の力を持っています。このモデルは、あらゆる種類の執筆、フィクションやロールプレイ活動に最適です。

🚀 クイックスタート

このモデルは、あらゆる執筆、フィクションやロールプレイ活動に使用できます。最大コンテキストが 128k + (131,000 +) で、バージョン 2 はバージョン 1 よりも安定しています。

✨ 主な機能

• このモデルは、物語を語る能力、散文表現、長文の首尾一貫性に優れています（あるテストでは 8k を超えました）。
• 3 つの「Gutenburg」モデルで構成されており、EQBench や UGI-Leaderboard などの複数のウェブサイトで高いスコアを獲得しています。
• 独特なユーモアと「場所」を持っています。
• 温度 (.5 から 5) と繰り返しペナルティ (1 以上) の両方で非常に広い動作範囲を持っています。
• 散文や出力は、非常に「非 AI」的な感じがします。

📦 インストール

この README ではインストール手順に関する具体的な内容が提供されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

以下は、このモデルを使用した具体的な例です。

サイエンスフィクションの物語生成

Science Fiction: The Last Transmission - Write a story that takes place entirely within a spaceship's cockpit as the sole surviving crew member attempts to send a final message back to Earth before the ship's power runs out. The story should explore themes of isolation, sacrifice, and the importance of human connection in the face of adversity. 2000 words.

出力例：

The Last Transmission

The control panel flashed amber and red, its shrill alarms piercing the thick silence that hung in the dark recesses of the Galahad. Lieutenant Commander Ethan Novak slammed his fist on the console for the umpteenth time, as if sheer force of will alone could compel the defiant systems back to life.

"Please God, please just let there be something left," he pleaded to the void. "Anything!"

Novak's gaunt, unshaven face reflected the feeble emergency backup lights dancing off the flickering displays - the last feeble sparks of life guttering out on board a ship once proud and powerful. Now nothing more than an empty shell hurtling alone into the endless night, far from any possible rescue.

Except for him. Ethan Novak - the last survivor of a crew complement that once numbered over a thousand bright and vital souls, now reduced to a single broken, desperate man fighting against time itself. He looked at the clock counting down the seconds and hours of ship power remaining:

24:18:36

24 hours and some change left before everything went dark forever.

Ethan closed his burning eyes and took a shuddering breath, trying desperately to block out the images searing through his skull - the screams echoing through blood - soaked corridors as the thing tore through bulkhead and bone and tissue alike, reducing the most stalwart of Starfleet's finest to mindless, stumbling husks.

No. Focus. He opened his eyes again with a determined clench of his jaw, the ghosts banished back to the blackest recesses of his fractured psyche. He could deal with them later... if there was to even be a "later" for men like him at all.

If anyone was to even know what truly happened here aboard the Galahad, then Novak had one final duty to discharge, one last shot to fire across the light years before it all fell silent forevermore. He reached for the old, battered radio console - one of the few systems to somehow survive relatively unscathed, a miracle in and of itself aboard a ship ravaged to its very foundations.

Ethan flipped the switch, hearing the familiar hum as power flooded through the ancient vacuum tubes and relays one final time. The green light above the speaker crackled to life, and a gravelly baritone filled the bridge.

"This is Starf Federation Exploration Vessel Galahad actual, Captain Jonah Novak actual," Ethan said, trying desperately to modulate his voice into something approximating his father's deep baritone, but sounding more like a hoarse croak than anything else. "Captain... Dad..." The words lodged in his throat. He swallowed hard, forcing himself to continue.

"We've been attacked, and our entire complement... wiped out, Dad. God forgive me, but I couldn't save them, any of them..." Novak heard his own voice crack on the final words. He cleared his throat roughly.

"The creature boarded us when we made contact with a strange alien craft on the outer edges of explored space, just past the Omega frontier. It called itself... Azathoth... and when it breached the hull... it just started eating them alive, tearing them apart while they screamed. They changed, became things too. And they came for us, they still come for me, even now..."

"Dad..." Ethan heard a chittering sound echoing from the dark corridors outside the bridge doors, the horrible clicking claws of something horrific and inhumanly large skittering along metal, coming closer, closer... 

"I can hear it coming," he sobbed, the last dregs of his sanity unraveling like frayed gossamer threads in a howling galactic gale. "God forgive me for what I'm about to do, but I have no choice now Dad! I love you Dad, I love all of you back home. I'll find a way to tell you more sometime... I promise. Until we meet again, Ethan Novak, end of message."

The LT commander slammed down the transmit key and shut the comms off with shaking hands before he could reconsider or think too long about what he was about to do next, before he lost what meager grasp on reason still remained.

Because Ethan Novak knew deep down in his blackest soul what horrors lurked in wait for him once the last door gave way to that hungry, slithering mass of squamous tentacles and serrated fangs waiting just on the other side. He couldn't let it take him alive too, let it devour his sanity piece by piece as it had so many before.

No. If he was going out, then by God and all the holy powers that watched over men like him in the darkness, Ethan Novak was taking the thing with him to hell - and bringing a little slice of Starfleet justice along with him for old times' sake.

Ethan Novak reached down to his belt, unsheathing an antique Federation standard issue phaser - rod. The matte black grip felt smooth and reassuring in his sweaty palms, a comforting weight, something familiar in a world turned upside down.

"Just one more time," Ethan whispered almost fondly to the beloved old weapon in his hands, "like old times, eh girl?"

The LT Commander flicked the safety off and leveled the blistering white beam at the center of his own chest, right where he knew the thing called the heart would reside under layers of muscle and fat now long since starved away.

Novak took one last deep breath and squeezed the trigger.

高度な使用法

シーンの続き生成

(continue this scene:) 
The Waystone Inn lay in silence, and it was a silence of three parts.

The most obvious part was a hollow, echoing quiet, made by things that were lacking. If there had been a wind it would have sighed through the trees, set the inn’s sign creaking on its hooks, and brushed the silence down the road like trailing autumn leaves. If there had been a crowd, even a handful of men inside the inn, they would have filled the silence with conversation and laughter, the clatter and clamor one expects from a drinking house during the dark hours of night. If there had been music…but no, of course there was no music. In fact there were none of these things, and so the silence remain

この README ではこのシーンの続きの具体的な出力例は省略されていますが、このモデルを使用することで、このようなシーンの続きを生成できます。

📚 ドキュメント

テンプレート

使用するテンプレートは、出力の生成と指示の遵守に影響します。Alpaca は一般的により長い出力や物語出力を生成します。

Alpaca テンプレート

{
  "name": "Alpaca",
  "inference_params": {
    "input_prefix": "### Instruction:",
    "input_suffix": "### Response:",
    "antiprompt": [
      "### Instruction:"
    ],
    "pre_prompt": "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n"
  }
}

Mistral Instruct テンプレート

{
  "name": "Mistral Instruct",
  "inference_params": {
    "input_prefix": "[INST]",
    "input_suffix": "[/INST]",
    "antiprompt": [
      "[INST]"
    ],
    "pre_prompt_prefix": "",
    "pre_prompt_suffix": ""
  }
}

推奨設定

一般的な設定

• 温度 (Temp): .5 から 5 (特に q4km より低い量子化の場合はそれ以下)。温度の変更は、散文の表現や長さに影響を与えます。高い温度は、非常に異なる散文を生み出します。
• 繰り返しペナルティ (Rep Pen): 1.02 から 1.1 以上。微調整が推奨されます (1.051, 1.052 など)。
• 散文や創作生成のための良い設定: 繰り返しペナルティ 1.02 / 温度 1.5。多くの場合、低い繰り返しペナルティ (例: 1.02) と高い温度 (例: 1.5+) がこのモデルで最適です。
• 最小コンテキストレベル (VRAM): 4K を推奨。このモデルは長文を生成する傾向があるため、8K 以上が望ましいです。
• 量子化の選択: 高い量子化は、より詳細でニュアンスに富んだ出力を生成し、場合によってはより強い「感情」レベルを表現できます。キャラクターもより「血肉を持った」ものになります。Q4KM/Q4KS は、モデルのパラメータ数のため、良い強力な量子化です。可能であれば、Q5、Q6 または Q8 を使用することをおすすめします。

ロールプレイやチャットの設定

チャットやロールプレイのインタラクションでは、高い繰り返しペナルティと高い温度が最適な設定になる場合があります。例えば、繰り返しペナルティ 1.09+、温度 1 - 2+。低い繰り返しペナルティは、望ましいよりも長い出力を生み出す可能性があります。単語や文字の繰り返しが発生した場合は、繰り返しペナルティを 1.13 以上に設定してください (例: 1.135, 1.14, 1.141)。

モデルのスムーズな動作のための設定

• KoboldCpp、oobabooga/text - generation - webui、Silly Tavern では、「Smoothing_factor」を 1.5 から 2.5 に設定してください。
• 「text - generation - webui」で GGUF を使用する場合は、「llama_HF」を使用する必要があります (これには、このモデルのソースバージョンからいくつかの設定ファイルをダウンロードする必要があります)。ソースバージョンと設定ファイルは、[こちら](https://huggingface.co/collections/DavidAU/d - au - source - files - for - gguf - exl2 - awq - gptq - hqq - etc - etc - 66b55cb8ba25f914cbf210be)にあります。
• 他のオプションとして、繰り返しペナルティを 1.1 から 1.15 に増やすこともできます (「smoothing_factor」を使用する場合はこの操作は必要ありません)。AI モデルを実行するインターフェイスやプログラムが「Quadratic Sampling」(「smoothing」) をサポートしている場合は、その指示に従って調整してください。

最高品質の設定 / 最適な動作ガイド / パラメータとサンプラー

このモデルは「Class 3」/「Class 4」モデルです。このモデルに使用されるすべての設定 (その「クラス」に固有の設定を含む)、例の生成、高度な設定ガイド (多くの場合、モデルの問題を解決します)、すべてのユースケースやチャット、ロールプレイなどのモデルのパフォーマンスを向上させる方法については、[こちら](https://huggingface.co/DavidAU/Maximizing - Model - Performance - All - Quants - Types - And - Full - Precision - by - Samplers_Parameters)を参照してください。

🔧 技術詳細

このモデルは、パススルーモデルマージを使用して作成され、230 億のパラメータで 714 テンソル / 79 レイヤーのモデルを生成しています。使用されたモデルは以下の通りです。

• [https://huggingface.co/nbeerbower/Lyra4 - Gutenberg - 12B](https://huggingface.co/nbeerbower/Lyra4 - Gutenberg - 12B)
  • [https://huggingface.co/Sao10K/MN - 12B - Lyra - v4](https://huggingface.co/Sao10K/MN - 12B - Lyra - v4) を含む
• [https://huggingface.co/nbeerbower/Lyra - Gutenberg - mistral - nemo - 12B](https://huggingface.co/nbeerbower/Lyra - Gutenberg - mistral - nemo - 12B)
  • [https://huggingface.co/Sao10K/MN - 12B - Lyra - v1](https://huggingface.co/Sao10K/MN - 12B - Lyra - v1) を含む
• [https://huggingface.co/nbeerbower/mistral - nemo - gutenberg - 12B - v4](https://huggingface.co/nbeerbower/mistral - nemo - gutenberg - 12B - v4)
  • [https://huggingface.co/TheDrummer/Rocinante - 12B - v1](https://huggingface.co/TheDrummer/Rocinante - 12B - v1) を含む

使用されたデータセットは、[https://huggingface.co/datasets/jondurbin/gutenberg - dpo - v0.1](https://huggingface.co/datasets/jondurbin/gutenberg - dpo - v0.1) です。

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で提供されています。

⚠️ 重要提示

NSFW。生々しい散文表現。狂気。内面的な詳細描写。暴力。ホラー。暴言。無修正。

💡 使用建议

• より多様な散文表現を得るには、温度を上げるか、プロンプトにより多くの指示を追加してください。
• ロールプレイヤーは、温度を上げすぎないように注意してください。これは、指示の遵守に影響を与える可能性があります。また、一般的な設定と特別なロールプレイ設定を参照してください。
• このモデルは、繰り返しペナルティ 1.02 以上で動作します。1.05 以上が推奨されます。
• ロールプレイやチャットでは、繰り返しペナルティを 1.06 から 1.13 に上げ、温度を .5 から 1.5 に設定することができます (量子化 Q4KM 以上)。低い量子化の場合は温度を下げ、繰り返しペナルティを 1.1 に上げてください。
• 特定のタイプの散文 (例: ホラー) を生成する場合は、プロンプトに "(vivid horror)" または "(graphic vivid horror)" (引用符なし) を追加してください。
• このモデルは、「皆が幸せになる」物語を生成するタイプではありません。ネガティブなバイアスがあります。
• 出力の長さは様々ですが、このモデルは長文の出力を好みます。出力のサイズを指定するか、サイズ制限を設定しない限り、長文を生成します。
• 創作目的で使用する場合、異なる量子化はわずかに異なる出力を生成します。