Psyonic Cetacean Ultra Quality 20b GGUF Imatrix

🚀 信じられないほどの超高品質リマスター：Psyonic-Cetacean-20b - Imatrix Plus

このモデルは、すべてのコンポーネントとマージが浮動小数点数32ビット（Floating Point 32）にリマスターされたアップスケール版です。これには、すべてのマージ（マスターファイルを使って再作成）が含まれ、可能な限り完全なFP32モデルに置き換えられています。

目標

「GUFF化」する直前まで、最大限の精度を維持することです。これには、GGUF用のF32マスターファイルも含まれ、そのサイズはなんと78GBにも及びます。

なぜF32なのか？

F32とBF16の違いは、小数点以下8桁以上に及びます。そして、各マージやモデルの変更に伴って、途中で「損失」が発生します。これらの損失は累積され、さらなる損失につながります。小数点はモデルの性能にとって重要であり、各マージや圧縮を200億回繰り返すと、その影響は無視できなくなります。

結果

• Q2K：困惑度が533ポイントも低下しました（数値が低いほど良い）。（元のQ2Kベースモデル：PPL = 9.8077 +/- 0.06821）
• Q4KM：困惑度が976ポイント低下しました。（元のQ4kmベースモデル：PPL = 8.7858 +/- 0.06074）
• Q6：困惑度が234ポイント低下しました。（元のQ6ベースモデル：PPL = 8.6070 +/- 0.05907）

これにより、「Q6」は元の全精度版の「Psyonic-Cetacean-20b」を上回る性能を発揮し、Q4KMはQ6レベルの品質に近い性能を示します。

モデルの改善点

モデルの原作者であるJeb Carterによると、以下のような改善が見られます。

• 命令の追従性が劇的に向上しました。
• 新しい能力が現れました。
• モデルがより具体的な命令を必要としなくなったため、使用する命令セットを減らすことができました。
• 文章の品質、ニュアンス、深みがすべて向上しました。
• 元のモデルに存在していた既知の問題が解消されました。

設定

チャット/ロールプレイやスムーズな動作のための設定

「KoboldCpp」、「oobabooga/text-generation-webui」、「Silly Tavern」では、「Smoothing_factor」を1.5から2.5に設定してください。

• KoboldCpp：Settings -> Samplers -> Advanced -> "Smooth_F"
• text-generation-webui：parameters -> 右下
• Silly Tavern："Smoothing"

注意事項

「text-generation-webui」でGGUFを使用する場合は、「llama_HF」を使用する必要があります（これには、このモデルのソースバージョンからいくつかの設定ファイルをダウンロードする必要があります）。モデルのソースバージョン（および設定ファイル）は、以下のリンクから入手できます。 https://huggingface.co/collections/DavidAU/d-au-source-files-for-gguf-exl2-awq-gptq-hqq-etc-etc-66b55cb8ba25f914cbf210be

その他のオプション

• 繰り返しペナルティ（rep pen）を1.1から1.15に増やすことができます（「smoothing_factor」を使用する場合は不要です）。
• AIモデルを実行するインターフェース/プログラムが「Quadratic Sampling」（「smoothing」）をサポートしている場合は、上記のように調整してください。

最高品質の設定/最適な動作ガイド/パラメータとサンプラー

これは「クラス2」のモデルです。このモデルに使用されるすべての設定（その「クラス」に関する詳細を含む）、生成例、高度な設定ガイド（多くの場合、モデルの問題を解決する方法が記載されています）、すべてのユースケース（チャット、ロールプレイなど）でのモデルの性能を向上させる方法については、以下のリンクを参照してください。 https://huggingface.co/DavidAU/Maximizing-Model-Performance-All-Quants-Types-And-Full-Precision-by-Samplers_Parameters

今後の予定

このリポジトリに続いて、「reg quant plus」リポジトリが公開されます。これは、GGUF（すべてのレベル）に浮動小数点32ビット精度で追加のコンポーネントを追加し、創造性とAIのパワーをさらに向上させます。このプロセスにより、困惑度がさらに50 - 100ポイント低下します。

その後、完全な浮動小数点32ビット精度のImatrix（通常の量子化も含む）が公開されます。テスト結果（元のモデルおよび「ultra」通常量子化との比較）は、結果が出たら公開されます。

Imatrix Plusリポジトリ（「reg quant plus」と同じ浮動小数点32ビットの強化機能を持つ）も公開され、さらに限界を押し広げます。

これらの高精度リマスターに使用されたすべての方法（および避けるべき落とし穴）の詳細は、すぐに公開され、元のモデルと新しい超高品質リマスターの比較も行われます。

ライセンス

このモデルはApache-2.0ライセンスの下で公開されています。

謝辞

「Psyonic-Cetacean 20B」の原作者であるJeb Carterに感謝します。 https://huggingface.co/jebcarter/psyonic-cetacean-20B