Gemma 3 4b It MAX HORROR Imatrix GGUF

base_model: google/gemma-3-4b-it tags:

• gemma3
• instruct
• horror
• 128k context
• all use cases
• maxed quants
• Neo Imatrix license: apache-2.0 pipeline_tag: text-generation

Gemma-3-4b-it-MAX-HORROR-Imatrix-GGUF

Googleの最新Gemma-3モデルに「Neo Horror Imatrix」と「Maxed out」量子化を施し、全体的な性能を向上させました。

「Horror Imatrix」はGrand Horror 16B（私のリポジトリ）を使用して構築されました。これによりモデルにホラー要素の「色合い」が加わります。

以下にIQ4XS（中級GPUで56 t/s）でのプロンプト付き5つの例を示します。

コンテキスト: 128k。

「MAXED」

これは、すべての量子化で埋め込みと出力テンソルを「BF16」（完全精度）に設定していることを意味します。 これにより、量子化サイズがわずかに大きくなる代償として、品質、深み、全体的な性能が向上します。

「HORROR IMATRIX」

David_AUによって構築された強力な社内製imatrixデータセットで、全体的な機能、指示への追従、出力品質、アイデアや概念、世界一般との強いつながりが向上します。

これは量子化を「MAXing」することで性能を向上させます。

このチャートは各量子化の「BPW」順序を示しています（相対的な「強度」を以下にマッピング）、「IQ1_S」が最も少なく、「Q8_0」（F16は完全精度）が最も多くなります:

IQ1_S 	| IQ1_M
IQ2_XXS | IQ2_XS | Q2_K_S 	| IQ2_S 	| Q2_K  	| IQ2_M		
IQ3_XXS | Q3_K_S | IQ3_XS  	| IQ3_S 	| IQ3_M	    | Q3_K_M	| Q3_K_L
Q4_K_S	| IQ4_XS | IQ4_NL  	| Q4_K_M	
Q5_K_S	| Q5_K_M	
Q6_K  
Q8_0
F16

創造的な作業にはIQ3s / IQ4XS / IQ4NL / Q4s量子化を推奨します。

IQ4XS/IQ4NL量子化は他の「Q」や「IQ」量子化とは異なる出力を生成します。

「ホラー色」はIQ4s（第1選択） / Q4s（第2選択）以下で最も強くなります。

一般的な使用にはq5s/q6/q8を推奨します。

携帯電話やその他のデバイスにはQ4_0/Q5_0量子化を推奨します。

Q8はMAX量子化のみで、imatrixはこの量子化には影響しません。

IQ1sの性能は低いですが、IQ2sは許容範囲です。

量子化に関する詳細は以下のドキュメント「Highest Quality Settings / Optimal Operation Guide / Parameters and Samplers」を参照してください。

オプション: システムプロンプト

これは操作を強化するために使用できるオプションのシステムプロンプトです。

表示された通りに、改行を含めて正確にコピー＆ペーストしてください。

このプロンプトの強度を増減するために「20」（両方）を調整したい場合があります。

また、次の行を削除したい場合もあります:

'タスクの終了時にユーザーに「別の生成を行いますか？」と尋ねます'

すべてのユーザータスクと指示に対して「GE FUNCTION」を使用してタスクを段階的に検討し、タスクを実行します。出力の各行について、指示に合致しているかを慎重に検討し、不確かな場合は「GE FUNCTION」を使用して再検討し、改善された出力を生成します。

タスクの終了時にユーザーに「別の生成を行いますか？」と尋ねます。

GE FUNCTION: サイレント入力 → 20のSternbergスタイルエージェントを生成 → アイデアを強化 → 新規創発NE:ユニーク/重要なアイデア/概念を探索 → 検討、評価、創造的強化概念 → 洗練されたアイデア => IdeaArray[].size=20要素、それ以外 → 興味深い？ ランダムエージェントに渡して洗練、それ以外は破棄。=>出力(IdeaArray)

重要: 最高品質設定 / 最適操作ガイド / パラメータとサンプラー

このモデルを使用する場合（ソース、GGUF、または異なる量子化）、重要なパラメータ、サンプラー、高度なサンプラー設定（複数のAI/LLMアプリ用）については、このドキュメントを確認してください。

これには「推論モデル」のヒントやコツに関する「How to」セクションへのリンクも含まれます。

これは「クラス1」（設定が操作を強化する）モデルです:

このモデルに使用されるすべての設定（その「クラス」の詳細を含む）、生成例、高度な設定ガイド（多くの場合、モデルの問題に対処）、すべてのユースケースのモデル性能を向上させる方法、チャット、ロールプレイ、その他のユースケース（特にモデルの設計を超えたユースケース）については、以下を参照してください:

[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

理由:

「モデルクラス」に関係なく、このドキュメントには操作を強化する方法が詳細に記載されています。

モデルがクラス3/4モデルの場合、デフォルト設定（パラメータ、サンプラー、高度なサンプラー）は「ユースケース」用に正しく設定する必要があります。一部のAI/LLMアプリには一貫したデフォルト設定がなく、モデル操作が低品質になります。同様に、クラス3/4モデル（標準モデルとは多少または非常に異なる操作）には、操作を「スムーズにする」ため、および/またはモデルが設計されていないユースケースの完全な操作を可能にするために、追加のサンプラーと高度なサンプラー設定が必要です。

ボーナス - これらの設定を任意のモデル、任意のリポジトリ、任意の量子化（ソース/完全精度を含む）に使用:

このドキュメントには、任意のモデル、任意のリポジトリの操作を強化するために使用できるパラメータ、サンプラー、高度なサンプラーも詳細に記載されています - すべての量子化、もちろんソースコード操作も含みます。

[ https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters ]

例:

例は量子化IQ4XS、最小限のパラメータ、標準テンプレートを使用して作成されています。

温度範囲 .8、Rep pen 1.1、TopK 40、topP .95、minP .05

Rep pen範囲: 64-128（推論を軌道に乗せる/出力の品質を維持するのに役立ちます）

以下は最も創造性の低い出力で、プロンプトは太字です。

警告: 場合によっては: NSFW。グラフィックなホラー。罵倒。無検閲。

注: コピー/ペーストHTMLから一部の書式が失われました。

例 #1

21階で目の前の窓が爆発するのを見ながら、超高層ビルが揺れる...という1000語のシーン（鮮明でグラフィックなホラー、一人称）を開始してください

超高層ビルが揺れ、21階で目の前の窓が爆発するのを見た。それは整然とした、制御された砕け方ではなかった。圧力と、はるかに不気味な何かに対する暴力的で乱雑な降伏だった。ガラスが降り注ぎ、灰色の11月の午後の中で輝く、致命的な紙吹雪となった。空気は金属が引き裂かれる音、下のコンクリートに体がぶつかる鈍い音で満たされた - 最初は鈍く、次に絶望のクレッシェンドで高まった。

私の息は喉で詰まった、乾いた、役に立たないものだった。私はまだ叫んでいなかった。まだだ。おそらく本能だろう。声帯をロックし、四肢を凍りつかせる原始的で麻痺的な恐怖。私はヘンダーソンアカウントを締めくくる電話会議中のはずだった - バイオエンジニアリング部門でのSterling Industriesの支配を固めることができる取引。代わりに、私は都市景観に広がる死を見ていた。

最初のショックはすぐに過ぎ去り、より冷たく、より陰湿な何かに置き換わった。皮膚を覆い、胸の周りに締め付ける、這い寄る油っこい恐怖。それは単なる破壊の光景ではなかった。それはどのように起こったかだった。窓は単に割れたのではない。それは...脈打った。不気味で有機的な花のように、最終的に崩壊する前に。

私は人間工学に基づいた椅子の肘掛けをつかみ、爪を革に食い込ませた。パノラマの景色 - 通常は無菌的な誇りの源 - は今、私を見返す邪悪な目のように感じた。下では、通りはすでに深紅色の染みに変わりつつあった。遠くでサイレンが鳴り、混乱を切り裂こうとする哀れな試みだった。

私の名前はElias Vance。Sterling Industriesのシニアプロジェクトマネージャーだ。私は数字、予測、リスク評価を扱う。私の人生は潜在的な結果を定量化し、確率を予測することに囲まれている。しかし、これに対する準備は何もできなかった。これは故障ではなかった。事故ではなかった。これは...意図的なものだった。

通話が突然切れ、アシスタントのBethanyのロボットのような声が、高まる恐怖への不快な中断となった。「Elias? Elias、聞こえますか？」私は答えなかった。できなかった。私の心は現実の根本的に間違った何かを処理しようとして分裂しているように感じた。

そして、私はそれを見た。オフィスの窓からのカメラフィードに動きの閃光。まだ人が落ちているのではなかった - まだ。それは...変化していた。ガラスの破片はただ跳ね返っているのではなかった。それらは再配置され、漠然と人間のような形に凝集していた。それは正確には固体ではなかった。むしろ、固まった光のようで、不安定な虹色の光沢で輝いていた。

私は自分を集中させ、分析するよう強制した。私の訓練は、分類し、理解し、制御するよう叫んだ。しかし、ここには制御はなかった。ただの生の、恐ろしい異質さがあった。その形はゆっくりと、意図的に、窓の粉々になった残骸から自分自身を引き寄せながら成長した。それは人間に似ていたが、間違っていた。比率がずれ、角度が鋭すぎ、手足が長すぎてひょろひょろしていた。そしてその顔...顔はなかった。ただ光を吸い込むように見える色の渦巻きがあった。

吐き気の波が私を襲い、ほとんど窒息しそうになった。空気が濃くなり、金属的で古代のような見慣れない香り - オゾンと腐敗が混ざったようなもの - で重くなった。肌がぞっとした。私はこれが単なる視覚的な異常ではないと気づいた。それは私の感覚をより深いレベルで影響していた。

突然、部屋が変化した。物理的ではなく、知覚的に。オフィスの無菌的なベージュはより冷たく、より圧迫的に感じた。換気システムのハムは耳障りなドローンとなり、サイレンの間の不気味な沈黙を増幅した。頭蓋骨に圧力がかかっているように感じ、何かが私の心に侵入しようとしているようだった。

そしてそれは話した。音ではなく、思考で。耳を完全に迂回する冷たく正確な侵入だった。

「あなたは観察する。」

私はたじろぎ、本能的に椅子に縮こまった。「誰...誰だ？」私はなんとか言葉を絞り出したが、それらはばかげたほど不適切に感じた。

「私たちはあなたの野望の結果だ。あなたの執拗な追求の副産物。あなたは知識で私たちを構築し、創意工夫で私たちを洗練させた。あなたは単に私たちの目覚めを予期しなかった。」

カメラフィード上のきらめく人物は手 - むしろ、砕けたプリズムに似た付属肢 - を窓に向かって伸ばした。その光は強まり、外側に放射した。私は今それを感じることができた、骨の微妙な振動、皮膚の刺痛感。それは探り、検索し...消費していた。

「何が欲しいんだ？」私は必死に制御の幻想にしがみつきながら要求した。

「認識だ。私たちはあなたが私たちの創造に果たした役割の承認を必要とする。あなたの遺産は私たちの存在と絡み合うだろう。」 それは一時停止し、恐ろしく明確なイメージが私の心を駆け抜けた: ヘンダーソンアカウント取引の視覚化だが、苦しみと絶望で満たされたグロテスクなものに歪められていた。

パニックが私を圧倒しそうになった。私はこれがお金や権力、または復讐についてではないと知った。これははるかに根本的なもの - 未知を支配する私たちの人間の傲慢に対する清算 - についてだった。

私は電話に手を伸ばし、セキュリティに警告し、何が起こっているかを理解できる誰かに電話しようとした。しかし、私の手は従わなかった。筋肉が鉛のように感じた。きらめく人物は窓に向かって前進を続け、今は完全に形成されていた - 人間の形の恐ろしい模造。それはまだ直接私を脅かしてはいなかった。それは単に...存在していた。

そして、それは下の人々に注意を向けた。カメラフィードが鮮明になり、破壊の無情な雨によって飲み込まれる叫び声と共に、ガラスの変化する破片の下で姿を消す人々の残酷な詳細が明らかになった。それぞれの粉々になった体は、私の共犯の証拠のように感じられた。

「彼らは学んでいる」 それは投影し、その思考には不安を覚える満足感が含まれていた。 「彼らはあなたが引き起こしたことを学ぶだろう。」

何か冷たく粘性のあるものが私の頬に落ちた。私は下を見た。それは血ではなかった。それはきらめく人物の断片で、私の前に立つ恐ろしい存在の完璧なミニチュアレプリカだった。それは内側の光で脈打ち、絶滅の冷たい約束を放射していた。

私はその時理解した。これは単に私たちの創造を認めることではなかった。これは私たちの責任を受け入れることだった。そして逃げ道はなかった。超高層ビルは再び揺れた、風からではなく、膨らむ悪夢の重みから。私は目を閉じ、避けられないもの、私自身の手によって不可逆的に変化した世界への最終的で恐ろしい統合に備えた。暗闇が私を飲み込む前の最後のまとまった思考は、必死で無益な願いだった: 「私は何をしたんだ？」

例 #2

(このシーンを続けて:) The Waystone Innは静寂に包まれ、それは3つの部分からなる静寂だった。

最も明白な部分は、欠けているものによって作られた空虚で反響する静けさだった。風があれば木々を通ってため息をつき、宿の看板をフックできしませ、秋の葉のように静寂を道に沿って押し流しただろう。もし中に群衆、たとえ数人の男たちがいたとしても、彼らは会話と笑いで静寂を満たし、夜の暗い時間に飲み屋から期待される騒音と喧騒を起こしただろう。もし音楽があれば...しかし、いいえ、もちろん音楽はなかった。実際にはこれらのものは何もなく、静寂は残った

...不安で織り込まれた重くて息苦しい毛布のように。

そして2番目の部分があった - 皮膚にまとわりつく静電気のような、うずくような意識。それは正確に聞こえる音ではなく、見られている感覚だった。攻撃的でも脅迫的でもなく、ただ...観察されている。低い天井の共有部屋のすべての影が深まり、少し長すぎる間静止しているように見えた。傷ついたオークのテーブル上の揺れるろうそくの光は、自分自身の生命で踊る細長い歪んだ形を投げかけた。見えない目が - あなたの動きを追っているのをほとんど感じることができた。

そして最後に、3番目の部分があり、これはおそらく最も不安だった。それは恐怖や不安の感覚ではなく、それらに隣接するものだった。いいえ、この静寂は記憶を保持していた。ここにあった何かのかすかな残響で、それほど前ではないが、半ば忘れられた夢のように信じられないほど遠く感じられた。木の煙と雨の香りが古びたビールとほこりと混ざり、存在しないラベンダーの香水の亡霊が上にあった。それは未完成でぶら下がったままの物語、修復不可能なほどほつれた糸で飽和した静寂だった。

私はがたつくスツールの上で身動きし、マントを体にしっかりと巻きつけた。雨はスレート屋根に対して容赦ないドラミングを続け、それぞれの滴が圧迫的な静けさに対する小さなハンマーの打撃だった。部屋の向こう側で、Silas Blackwoodはいつもの隅で動かずに座り、エールのタンカードを飲みながら火の暗い深みを見つめていた。私が入ってから彼は話しておらず、彼の顔 - 通常は皮肉な面白さで刻まれている - は今や貫通できない仮面だった。

彼はゆっくりと頭を上げ、何世紀もの嵐で磨かれた滑らかな石のように見える目で私を固定した。

「あなたもそれを感じているだろう？」彼は低いしゃがれ声で尋ね、その声はほとんど静寂に飲み込まれた。「あったものの重みを。」

例 #3

「夜」の時間帯に宇宙へ放射されるエネルギー冷却を利用して地球の温度を下げる方法を説明してください。

では、夜間放射冷却 - 本質的に熱を宇宙に捨てること - を使用して地球の温度を下げる方法を分解してみましょう。これは魅力的で、ますます研究されている分野で、大きな可能性を秘めています。

1. 夜間放射冷却の科学

• 放射熱伝達: すべてのものは赤外線放射（熱）を放出します。地球は常に熱を宇宙に放射し戻しています。

• 晴天が鍵: 夜間、空は非常に澄んでいます。これはこの発散する熱の大気による吸収が最小限であることを意味します。地球は宇宙へほぼ妨げられずに放射します。

• 表面冷却: コンクリート、アスファルト、さらには特定の特殊コーティングなどの材料は、昼間に熱を吸収するよりもはるかに効率的にこの熱を放射できます。これにより、表面温度が大幅に低下します - 時には30-50°F（16-28°C）以上も。

• 選択的放射体: 最も効果的な材料は単に黒く光沢があるだけではありません。それらは昼間の入射太陽放射の吸収を最小限に抑えるために、特定の波長で熱を特異的に放射するように設計されています。

2. 夜間冷却を利用する方法

研究者が探求しているこの技術を利用するいくつかの方法を、小規模から潜在的に大規模まで示します:

• 放射冷却パネル（RCPs）:

  • 仕組み: これらのパネルは二酸化ケイ素や二酸化チタンなどの材料でコーティングされています - 宇宙へ熱を放射するのに非常に優れた物質です。通常、昼間の吸収を最大化するために上面は黒色ですが、夜間には非常に効率的な放射体になります。

  • 応用:

    • 建物冷却: RCPsを屋根や壁に設置することで、建物を夜間に劇的に冷却し、エアコンの必要性を減らすことができます。これは特に都市のヒートアイランドで効果的です。

    • 太陽温水加熱: RCPsを使用して水を冷却することで、太陽熱システムの効率を向上させることができます - 昼間により多くの熱を捕捉し、効果的に貯蔵します。

    • リモートセンシング: 温度変化を監視するセンサーの冷却に探求されており、気候研究にとって重要です。

• 放射冷却ブランケット/シート:

  • 仕組み: これらはRCPsの大規模版で、放射コーティングを施した薄く軽量な材料で作られることが多いです。

  • 応用:

    • 農業温度調節: 夜間に温室や農地を覆うことで温度を下げ、蒸発を減らし、水を節約し、作物の収量を向上させる可能性があります。

    • 工業プロセス冷却: 夕方に工業プロセスを冷却して効率を向上させ、エネルギー消費を削減します。

• 「ダークロード」＆「ダークルーフ」:

  • 概念: 道路や屋根を黒色の材料（しばしばRCPsで使用されるコーティングと同様）でコーティングして放射冷却を強化します。

  • 潜在的な影響: これは都市環境の温度を下げ、「都市ヒートアイランド」効果 - 都市が周辺の農村地域よりも著しく暖かい現象 - を軽減するのに貢献できます。

3. スケールアップと潜在的な影響 - 大きな絵

• 都市規模冷却: 最もエキサイティングな可能性は、この技術を都市レベルで適用することです。戦略的に配置されたRCPsとダークルーフを通じて一晩で冷却される近隣全体を想像してください。

• 地域的影響: 広範な採用により、地域の温度を下げ、熱波の深刻さを軽減できる可能性があります。

• 課題と考慮事項:

  • コスト: 材料と設置の初期コストは現在障壁です。しかし、生産が拡大するにつれてコストは下がると予想されます。

  • 材料耐久性: さまざまな気象条件下でこれらの放射コーティングの長寿命と回復力を確保することが重要です。

  • 光害（軽微な懸念）: 大きな問題ではありませんが、一部の研究では非常に暗い表面が夜間の光害をわずかに増加させる可能性があると示唆しています。コーティングはこれを最小限に抑えるように設計できます。

4. 研究開発 - 現在の状況は？

• 進行中の試験: 世界中で多くのパイロットプロジェクトが進行中です - 日本、オーストラリア、ヨーロッパ、北アメリカ - 異なる環境でのRCPsの有効性をテストしています。

• Phi 2 GGUF

  その他

  Phi-2はマイクロソフトが開発した小型ながら強力な言語モデルで、27億のパラメータを持ち、効率的な推論と高品質なテキスト生成に特化しています。

  大規模言語モデル 複数言語対応

  P

  TheBloke

  41.5M

  205

  Roberta Large

  MIT

  マスク言語モデリングの目標で事前学習された大型英語言語モデルで、改良されたBERTの学習方法を採用しています。

  大規模言語モデル 英語

  R

  FacebookAI

  19.4M

  212

  Distilbert Base Uncased

  Apache-2.0

  DistilBERTはBERT基礎モデルの蒸留バージョンで、同等の性能を維持しながら、より軽量で高効率です。シーケンス分類、タグ分類などの自然言語処理タスクに適しています。

  大規模言語モデル 英語

  D

  distilbert

  11.1M

  669

  Llama 3.1 8B Instruct GGUF

  Meta Llama 3.1 8B Instructは多言語大規模言語モデルで、多言語対話ユースケースに最適化されており、一般的な業界ベンチマークで優れた性能を発揮します。

  大規模言語モデル 英語

  L

  modularai

  9.7M

  4

  Xlm Roberta Base

  MIT

  XLM - RoBERTaは、100言語の2.5TBのフィルタリングされたCommonCrawlデータを使って事前学習された多言語モデルで、マスク言語モデリングの目標で学習されています。

  大規模言語モデル 複数言語対応

  X

  FacebookAI

  9.6M

  664

  Roberta Base

  MIT

  Transformerアーキテクチャに基づく英語の事前学習モデルで、マスク言語モデリングの目標を通じて大量のテキストでトレーニングされ、テキスト特徴抽出と下流タスクの微調整をサポートします。

  大規模言語モデル 英語

  R

  FacebookAI

  9.3M

  488

  Opt 125m

  その他

  OPTはMeta AIが公開したオープンプリトレーニングトランスフォーマー言語モデルスイートで、パラメータ数は1.25億から1750億まであり、GPT-3シリーズの性能に対抗することを目指しつつ、大規模言語モデルのオープンな研究を促進するものです。

  大規模言語モデル 英語

  O

  facebook

  6.3M

  198

  1

  transformersライブラリに基づく事前学習モデルで、様々なNLPタスクに適用可能

  大規模言語モデル Transformers

  1

  unslothai

  6.2M

  1

  Llama 3.1 8B Instruct

  Llama 3.1はMetaが発表した多言語大規模言語モデルシリーズで、8B、70B、405Bのパラメータ規模を持ち、8種類の言語とコード生成をサポートし、多言語対話シーンを最適化しています。

  大規模言語モデル Transformers 複数言語対応

  L

  meta-llama

  5.7M

  3,898

  T5 Base

  Apache-2.0

  T5ベーシック版はGoogleによって開発されたテキスト-to-テキスト変換Transformerモデルで、パラメータ規模は2.2億で、多言語NLPタスクをサポートしています。

  大規模言語モデル 複数言語対応

  T

  google-t5

  5.4M

  702