Gemma The Writer Mighty Sword 9B GGUF

🚀 Gemma-The-Writer-Mighty-Sword-9B-GGUF

float 32の高精度モデルで、float 32で量子化され、追加のアップグレードと拡張された量子化も行われています。

これは、EQBenchで注目されたトップのストーリーテリング/ライティングモデルをマージしたGemma2モデルで、特にフィクション、ストーリー、ライティングに最適化されています。

このバージョン「Mighty Sword」は、「float 32」精度でマスターされたマージで、より高い品質とパフォーマンスを実現しています。標準ソースが「HD」だった場合、float32は「UHD」と言えます。要するに、より強力なモデルで、より多くの詳細、ニュアンス、深みがあり、命令の追従性も強化されています。

さらに、量子化自体にfloat 32成分を持つ特殊な再エンジニアリングされた量子化もあります（以下に詳細を記載）。これにより、標準（ただしfloat 32ソースからマスターされたもの）と「拡張量子化」を選択でき、さらに高品質なものを得ることができます。

このモデルは、元の「Gemma The Writer 9B」[ https://huggingface.co/DavidAU/Gemma-The-Writer-9B-GGUF ] を大幅に上回る性能を発揮します。

モデルの安定性が高く、圧縮されているため、ロールプレイを含む一般的な用途にも使用できます。

このモデルはGEMMA Instructテンプレートが必要で、コンテキストウィンドウは8kですが、ropeを介して32k以上に拡張可能です。

推奨する繰り返しペナルティ（Rep Pen）は1.05以上、温度（temp）の範囲は0 - 5です。

以下に、「regular」、「MAX」、「MAX-CPU」の量子化の例を示します（これらの詳細については以下に記載）。

✨ 主な機能

• 高精度マージ：上位のストーリーテリング/ライティングモデルをマージし、float 32精度でマスターされています。
• 拡張量子化：特殊な再エンジニアリングされた量子化で、高品質な出力が得られます。
• 汎用性：ロールプレイを含む一般的な用途にも使用できます。
• コンテキスト拡張：ropeを介してコンテキストウィンドウを32k以上に拡張可能です。

📦 インストール

READMEにインストール手順は記載されていません。

💻 使用例

基本的な使用法

# コード例はREADMEに記載されていません。

高度な使用法

# コード例はREADMEに記載されていません。

📚 ドキュメント

設定、量子化、重要な操作に関する注意

• 温度の変更：温度（temp）を変更すると（例：.4、.8、1.5、2、3）、出力が大きく変化します。
• 繰り返しペナルティ（Rep Pen）：Rep pen設定も出力に影響を与えます。このモデルでは、Rep penを1.02以上にする必要があります。ロールプレイでは、1.05 - 1.08を推奨します。Rep penをゆっくりと上げたり下げたりすることが重要です（例：1.011、1.012...）。Rep penは、文体、単語の選択（低いRep penは、時には小さな単語を多用する傾向があります）や創造性に影響を与えます。
• モデルの最大限の性能を引き出すには：Rep penを1.05以下、温度を3以上に設定します。また、長いプロンプトを使用すると、モデルの出力品質が大幅に向上します。

量子化に関する詳細

• 全量子化の更新：すべての量子化は、最新のLLAMACPPの改善点を反映して「リフレッシュ」されており、すべての量子化で命令の追従性と出力生成が向上しています。
• 出力テンソルと埋め込みのアップグレード：すべての量子化は、出力テンソル（すべてQ8_0に設定）と埋め込みに「より多くのビット」を追加してアップグレードされており、パフォーマンスが向上しています。
• 新しい特殊な量子化：「max」、「max-cpu」（ファイル名に含まれます）という新しい特殊な量子化が、「Q2K」、「IQ4_XS」、「Q6_K」、「Q8_0」に適用されています。
  • MAX：出力テンソルと埋め込みがfloat 32です。標準/アップグレードされた量子化よりも、命令の追従性と出力生成が向上します。
  • MAX-CPU：出力テンソルがfloat 32、埋め込みがbfloat 16で、これらをCPUに強制的にロードします（Nvidiaカードなどでは異なる場合があります）。これにより、VRAMが解放されますが、トークン/秒が減少します。また、命令の追従性と出力生成も向上します。
  • MAX-CPUの例：
    • q8_0 Max-CPU：3.5 GBがCPU/RAMにロードされ、8 GBがGPU/VRAMにロードされます。余分なVRAMはコンテキストに使用できます。CPUでの「数学演算」はGPUよりも若干正確であるため、より良い生成結果が得られる場合があります。
    • q2_k Max-CPU：1.7 GBがCPU/RAMにロードされ、3 GBがGPU/VRAMにロードされます。余分なVRAMはコンテキストに使用できます。CPUでの「数学演算」はGPUよりも若干正確であるため、より良い生成結果が得られる場合があります。8GBのVRAMカードでもこのモデル/量子化を実行できます。
  • Q8_0 (Max)：現在、平均で10.83ビット/ウェイトです。

量子化の選択

• 高い量子化のメリット：高い量子化ほど、詳細、ニュアンスが増え、場合によっては「感情的な」レベルも強くなります。キャラクターもより「血肉を持った」ものになります。「臨場感」も増します。
• Q4KM/Q4KS：良い量子化ですが、Q5、Q6、Q8を実行できる場合は、できるだけ高い量子化を選択してください。
• ARM量子化：このリポジトリには、ARMをサポートするコンピュータ用の3つの「ARM」量子化もあります。非ARMマシンでこれらを使用すると、トークン/秒が非常に低くなります。
• IQ4XS：この量子化の性質が独特であるため（混合/処理）、他の量子化とは異なる生成結果が得られます。他の量子化の出力と比較してみることをお勧めします。
• Q2k/Q3量子化の注意点：これらの量子化では、温度を2以下（q2kでは1以下）にする必要がある場合があります。このレベルでは圧縮が強すぎて、モデルに損傷を与える可能性があります。これらの量子化のImatrixバージョンがより良く機能するかどうかを確認します。また、この/これらの量子化レベルでモデルの最大限の性能を引き出すには、Rep penの調整も必要になる場合があります。

モデルのチャット/ロールプレイおよびスムーズな操作の設定

• KoboldCpp、oobabooga/text-generation-webui、Silly Tavernで：「Smoothing_factor」を1.5 - 2.5に設定します。
  • KoboldCppでは、Settings -> Samplers -> Advanced -> "Smooth_F"。
  • text-generation-webuiでは、parameters -> 右下。
  • Silly Tavernでは、「Smoothing」と呼ばれます。
• text-generation-webuiの注意点：GGUFを使用する場合は、「llama_HF」を使用する必要があります（これには、このモデルのソースバージョンからいくつかの設定ファイルをダウンロードする必要があります）。モデルのソースバージョン（および設定ファイル）はこちらにあります：[ https://huggingface.co/collections/DavidAU/d-au-source-files-for-gguf-exl2-awq-gptq-hqq-etc-etc-66b55cb8ba25f914cbf210be ]
• その他のオプション：
  • 「smoothing_factor」を使用しない場合は、Rep penを1.1 - 1.15に上げます。
  • AIモデルを実行するインターフェイス/プログラムが「Quadratic Sampling」（「smoothing」）をサポートしている場合は、上記のように調整してください。

最高品質の設定/最適な操作ガイド/パラメータとサンプラー

これは「Class 1」のモデルです。このモデルに使用されるすべての設定（「class」の詳細を含む）、生成例、高度な設定ガイド（多くの場合、モデルの問題を解決します）、すべてのユースケースでのモデルのパフォーマンスを向上させる方法、チャット、ロールプレイなどのユースケースについては、こちらを参照してください：[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

このモデルの生成に使用されるすべてのパラメータ、高度なパラメータ、サンプラーについても、同じリンクから確認できます。

「Gemma The Writer」の他のバージョン

• Gemma-The-Writer-DEADLINE：このモデルの2番目のバージョンで、パラメータは10Bです。文体、文構造、ストーリーテリングを変更し、「GPT的な表現」を減らし、モデルのすべての部分を一般的に向上させる特別な修正版です。出力生成の長さは、「Gemma The Writer 9B」の平均の約2倍です。[ https://huggingface.co/DavidAU/Gemma-The-Writer-DEADLINE-10B-GGUF ] これは「Gemma The Writer 9B」の代替品ではなく、まったく異なるバージョン、いわば「味」が異なります。
• Gemma-The-Writer-J.GutenBerg-10B：文体が強く、「Gutenberg」の雰囲気があり、Brainstormが5倍に修正されています。[ https://huggingface.co/DavidAU/Gemma-The-Writer-J.GutenBerg-10B-GGUF ]
• Gemma-The-Writer-N-Restless-Quill-10B (非検閲版)：強力で多様な文体、文、段落があり、比喩の生成がより控えめです。このバージョンは非検閲版で、プロンプトレベルで検閲を制御できます。また、事前プロンプトを介して文体を制御することもできます（リポジトリに表示されています）。[ https://huggingface.co/DavidAU/Gemma-The-Writer-N-Restless-Quill-10B-GGUF ]

すべてをダウンロードして試してみることをお勧めします。

使用されたモデル

これは、レイヤーレベルでの高精度「DARE TIES」マージです（各モデルの各レイヤーを調整 - 4つのモデルにわたって168箇所の調整）。以下のモデルで構成されています：

• [ https://huggingface.co/lemon07r/Gemma-2-Ataraxy-9B ]
• [ https://huggingface.co/UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 ]
• [ https://huggingface.co/ifable/gemma-2-Ifable-9B ]
• [ https://huggingface.co/princeton-nlp/gemma-2-9b-it-SimPO ]

すべてのモデル作成者に特別な感謝を申し上げます。素晴らしい仕事をしてくれました！

3つの異なる量子化の例（合計9例）

⚠️ 重要提示

例3（例3のすべての3つ）には、罵り言葉やゴア要素が含まれています。ただし、例3のすべての例では、このモデルのパフォーマンスを詳細に紹介し、このモデルが本当にできることを理解する手助けになります。

例1（q8、Temp:.8）

これは、同じプロンプトを、標準のfloat 32マスターされたQ8_0、BF16/F32の「max-cpu」、「max」のF32/F32で実行した結果を示しています。

プロンプト Science Fiction: The Last Transmission - Write a story that takes place entirely within a spaceship's cockpit as the sole surviving crew member attempts to send a final message back to Earth before the ship's power runs out. The story should explore themes of isolation, sacrifice, and the importance of human connection in the face of adversity. 800 - 1000 words.

（標準のfloat 32ソースのQ8_0） 故障するシステムの規則的なハム音が、コマンダーEva Rostovaの孤独の唯一の音楽になっていました。コックピットのビューポートの外は、無尽蔵の宇宙が広がり、彼女の苦境に無関心でした。その荒涼とした光景は、彼女の心の荒涼とした状態を反映していました。「ジェネシス」、人類の野心的な恒星間移住の試みは、死にかけていました。予想外の猛烈な太陽フレアが船を麻痺させ、希望を持っていた開拓隊員たちの中で彼女だけが生き残りました。

彼女の指が古いコンソールを駆け巡り、何とか最後のメッセージを地球に送ろうと必死に試みていました。光年の海を越えた最後のささやきです。電力計が不吉に点滅し、悪意のある赤いハートビートが彼女の残り時間をカウントダウンしていました。5分。4分… 3分…

一秒一秒が彼女の胸にハンマーの一撃のように響き、仲間たちの喪失を思い起こさせました。Dr. Singhの優しい笑顔、Lieutenant Chenの皮肉なユーモア、エンジニアの静かな能力 - 今では幽霊のような顔が、彼女の記憶に刻まれています。彼らは新しい家を夢見ていました。人類の強靭さと希望の糸で織り成されたタペストリーです。今では、彼らの夢は彼女とともに死にかけています。

Evaは目を閉じ、仲間たちの声や笑い声の残響の中で慰めを求めました。それは、押し寄せる絶望からの壊れやすい盾でした。再び目を開け、通信パネルに集中しました。静電雑音がヒスを立て、彼女となじみのあるすべてのものを隔てる広大な距離をいつも思い出させてくれます。

「これはジェネシスのコマンダーRostovaです」と、彼女は始めました。声は緊張していましたが、しっかりしていました。「他のすべての乗組員は…亡くなりました。船は予想外の太陽フレアにより重大な損傷を受けています。電力が低下しています。」彼女の喉が締め付けられ、一言一言が悲しい別れの断片になりました。

彼女は、彼らが収集したデータ、ケプラー186fで発見された異星の植物相について彼らに話さなければなりませんでした。悲劇にもかかわらず、この情報は未来の遠征隊のための明かりとなる可能性があります。

「私たちの…不幸な運命にもかかわらず」と、彼女は続けました。声は少し元気になりました。「ジェネシスは貴重な科学データを収集しました。異星の生物シグネチャの記録、ケプラー186fの地質調査…これらの発見は、未来の恒星間ミッションにとって重要です。私にお願いします、地球よ、私たちの犠牲が無駄にならないようにしてください。」

彼女の視線がナビゲーションコンソールに移り、今では手の届かない夢を嘲笑う星図にとどまりました。ケプラー186f、エメラルドグリーンとアズレブルーの宝石が、あと少しで手に届きそうで、永遠に手の届かないところにありました。

「この送信は私の最後の行為です」と、彼女は告白しました。声は感情に打ち勝っていました。「私が知っていた世界、大切にしていた人たちとの最後のつながりです。想像を絶する距離で隔てられていても、これを知ってほしい。絶滅の危機に直面しても、人類の精神はつながりを求めます。私たちはあなたたちにたどり着き、星の中で未来を築くことを夢見ていました。その夢を引き継いでください。生きていてください。私たちを忘れないでください。」

涙が目に溢れ、視界が曇りました。彼女は涙を拭き、完全な絶望に屈しないようにしました。この最後の瞬間にもまだ目的がありました。

「乗組員の皆さん、友達たちへ」と、彼女はささやきました。声は悲しみに満ちていましたが、愛が込められていました。「あなたたちの犠牲は忘れられません。あなたたちは宇宙の構造に刻まれ、人類の旅の一部として永遠に残ります。良く眠ってください、仲間たち。良く眠ってください。」

電力計が危険レベルを下回りました。赤色の警報が鳴り響き、死にかけている機械の大合唱でした。Evaは震える笑顔を作り、最後の反抗の証でした。彼女は緊急送信プロトコルを起動し、残りの意志力で故障するシステムを上書きしました。

最後の必死の訴えが虚空に放たれ、彼女の別れの言葉、悲しみ、揺るぎない希望を運んでいました。そして、静けさが訪れました。警報が止まり、ライトがちらつき、暗闇がコックピットを包みました。ジェネシスの最後の声であるEva Rostovaは目を閉じ、死んでも人類の精神の一部が星に触れたことを知り、満足していました。

（Max-CPU (bf16/f32) Q8_0 from Float 32 source） 非常用コンソールの最後の明滅する光が、キャプテンElara Vanceの憔悴した顔に厳しい影を落としました。塵の粒子が淡い光の中で踊り、彼女の混乱した思考の狂乱な編舞を反映していました。外は、無尽蔵の虚空が広がり、乗組員を飲み込み、今度は彼女自身をも飲み込もうとしていました。「イカロス」、かつて人類の探索のビーコンであった船は、今では忘却へと向かう墓になっていました。

彼女の指は少し震えながら、古いコンソールの上にぶら下がっていました。その触感のあるインターフェースは、船の古いアーカイブから取り出された過去の時代の遗物でした。彼女の中には、ただ一つの必死の希望が脈打っていました。地球に最後のメッセージを送ること、彼らの旅の証、宇宙の静寂に対するささやきを送ることです。

星雲 - 宇宙塵と放射線の渦巻く嵐 - が探索船を襲ってから3週間が経ちました。Elaraだけが生き残りました。最初のショックは、ゆっくりとつきつく孤独感に変わり、外の真空のように彼女を圧迫する窒息感になりました。日が夜に変わり、それぞれが故障する生命維持装置の規則的なヒスとコンソールの冷酷なカウントダウンで刻まれていました。電力枯渇 - 4時間37分。

彼女はパノラマビューポートを見ました。地球は、黒いベルベットの宇宙に浮かぶ鮮やかなサファイアの宝石で、今では痛々しいほど遠い記憶になっていました。切ない思いが彼女の胸を突き刺しました。人間の温かな手触り、賑やかなブリッジの快適な混乱、乗組員たちとの軽い冗談、それぞれの声が共通の使命のシンフォニーの中で独特のメロディーを奏でていた。今では、静寂が支配し、笑い声や共通の夢の幻の残響だけが断続的に聞こえます。

深い呼吸をして、Elaraは自分を今の仕事に集中させました。送信プロトコルは古く、長い間廃止されていた長距離ビーコンアレイに依存していました。これは最後の手段で、宇宙が人間の訴えに無関心である中でのわずかなチャンスです。しかし、彼女に残された唯一の手段でした。

彼女は話し始めました。声は使われていないせいでかすれていましたが、コックピットの広い空間に響き渡りました。「これはイカロスのキャプテンElara Vanceです。地球に最後のメッセージを送信します…」彼女の言葉は最初は途切れ途切れで、感情に飲み込まれていましたが、徐々に力を取り戻しました。つながりを求める必死の願い、宇宙の無関心の中で彼らの存在の痕跡を残そうとする願いから力を得ていました。

彼女は彼らの使命、星雲の美しさに対する畏敬の念、仲間意識、人類の可能性への揺るぎない信念について話しました。大惨事に至るまでの悲惨な瞬間、乗組員の勇敢さ、彼女の生存を確保するための彼らの無私な犠牲を語りました。彼女が彼らの名前を挙げるとき、声が途切れました。一人一人の亡くなった仲間は、あまりにも早く消えた星のようでした。

「私たちは探索者でした。好奇心と宇宙での自分たちの位置を理解したいという人間の渇望に駆られていました」と、彼女は続けました。視線は遠くの地球に固定されていました。「私たちの旅は悲劇的に終わりましたが、私たちの精神、私たちの夢は残ります。私たちを忘れないでください、地球よ。私たちの探求、私たちの犠牲を忘れないで、それらがあなたたちにさらに探索し、星に手を伸ばし続ける勇気を与えるようにしてください。」

時間が経つにつれ、彼女は希望のタペストリーを織り上げました。不屈の人類の精神の証です。愛、家族、私たちを結びつける単純な喜びについて話し、地球に、宇宙の広さの中でも人間のつながりが最も貴重な宝物であることを思い出させました。

最後に、電力が減少する中、彼女は切ない結末に到達しました。「これが私たちの最後の別れの言葉です。希望の翼に乗って運ばれるメッセージです。家にたどり着けることを願っています。絶滅の危機に直面しても、人類の精神は生き続けることを思い出させるビーコンです。」

再び静寂が訪れました。今回は、より重く、決定的なものでした。コンソールが明滅し、光が消えるように薄れていきました。Elaraは見守り、ひとつの涙が塵で汚れた頬を伝って落ちました。最後の電力が消えるのを見送りました。地球は、遠くで応えない青い大理石のように、彼女の孤独を嘲笑うように見えました。

しかし、暗闇が彼女を包んでも、少しの慰めが残っていました。彼女は話しました。つながりを築きました。そして、宇宙の虚空に対するこの反抗の行為の中で、イカロスの最後の生き残りであるキャプテンElara Vanceは少しの安らぎを見つけました。彼女の犠牲は、人間のつながりの証であり、星の中で響き渡り、時間の風に乗って運ばれるささやき、絶滅の危機に直面しても希望と愛が生き続けることを思い出させるものになることでしょう。

（Max (f32/f32) Q8_0 from Float 32 source - 最大の量子化、最高の品質） 故障するジャイロスコープの規則的なハム音が、Kaiの常連だった冷たい静寂に唯一の対照をなしていました。点滅する赤色の光が彼の顔に不吉なストロボを映し出し、彼自身の狂乱な鼓動を模倣していました。外は、無限の宇宙のキャンバスが広がり、狭いコックピットの中で展開する必死の闘いに無関心でした。彼は一人で、宇宙の墓場に漂う人類の最後の残響でした。

6ヶ月前、イカロスは希望のビーコンであり、地球の夢を金属の肩に背負ってプロキシマ・ケンタウリbに向かって疾走していました。今では、それは墓になり、乗組員は壊滅的な太陽フレアによって全滅し、通信係のKaiだけが不本意な管理人として残されています。

彼はコントロールパネルを見つめました。不活性なコンソールと点滅する警告の乱雑な集まりで、それぞれが船の故障するシステムの証でした。電力予備量は危機的なレベルまで低下しており、多分最後の一度だけの送信ができる程度で、必然的な静寂が彼を飲み込む前の最後の必死の叫びです。彼は諦めずに戦い、彼の物語、彼らの物語が虚空に消えないようにしました。

彼の手袋をした指が長距離通信アレイの起動シーケンスの上にぶら下がっていました。背中を震わせるのは寒さではなく、これから先の重みでした。これは単なる遭難信号を送ることではなく、想像を絶する距離の海を越えて、彼らを亡くしたと思っているかもしれない世界に手を伸ばすことでした。

彼は震える呼吸をして、自分を集中させました。メッセージは簡潔でインパクトがあるものでなければなりません。深淵を越えて投げられる救命索です。彼は通信装置に向かって話し始めました。声は緊張していましたが、しっかりしていました。「これはイカロスの最後の送信…位置座標…壊滅的な太陽イベント…乗組員…亡くなりました…生存者…」彼の声が途切れ、生々しい啜泣が溢れそうになりました。彼はそれを抑え、自分を鋼のように固めました。ここで悲しむ余裕はありません。今はそんなことはできません。

「地球…もしこれを受け取ったら…私たちが戦ったこと、探索したこと、星に手を伸ばしたことを知ってほしい。そして、私たちの旅が暗闇の中で終わっても、人類の精神は生き続けます。私たちの記憶を持ち続けてください。私たちの勇気と私たちの…」

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下でライセンスされています。