Psyonic Cetacean Ultra Quality 20b GGUF Imat Plus2

🚀 クイックスタート

このリポジトリは、「Psyonic - Cetacean 20b - Imatrix Plus 2」の超高品質リマスター版に関する情報を提供しています。このモデルは、浮動小数点32ビットのアップスケール版で、すべてのコンポーネントとマージが浮動小数点32ビットにリマスターされています。

✨ 主な機能

浮動小数点32ビットアップスケール

すべてのマージ（マスターファイルで再作成）と可能な限りの完全なFP32モデルの置き換えを含む、浮動小数点32ビットのアップスケールが行われています。

新しいImatrix Plus 2量子化

新しい社内データセットとマスターデータセットをマージした新しいImatrix Plus 2量子化を使用し、超高品質リマスターのパフォーマンスをさらに向上させています。

精度向上

F32とBF16の違いは8桁以上あり、各マージやモデルの変更に伴う損失を最小限に抑えることで、モデルの精度を向上させています。

困惑度の改善

Q2K、Q4KM、Q6などの量子化モデルで、困惑度が大幅に低下しています。例えば、Q4KMでは976ポイントの低下が見られます。

設定オプション

「KoboldCpp」、「oobabooga/text - generation - webui」、「Silly Tavern」などのインターフェイスでの設定オプションが提供されており、モデルのパフォーマンスを最適化できます。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

本READMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの概要

これは「Psyonic - Cetacean 20b - Imatrix Plus 2」の超高品質リマスター版で、浮動小数点32ビットのアップスケールが行われています。すべてのコンポーネントとマージが浮動小数点32ビットにリマスターされ、新しいImatrix Plus 2量子化が使用されています。

精度の重要性

F32とBF16の違いは8桁以上あり、各マージやモデルの変更に伴う損失が累積されるため、精度を維持することが重要です。このモデルでは、精度損失を最小限に抑える方法が採用されています。

困惑度の改善

Q2K、Q4KM、Q6などの量子化モデルで、困惑度が大幅に低下しています。例えば、Q4KMでは976ポイントの低下が見られ、Q6では234ポイントの低下が見られます。

設定オプション

「KoboldCpp」、「oobabooga/text - generation - webui」、「Silly Tavern」などのインターフェイスでの設定オプションが提供されています。具体的には、「Smoothing_factor」を1.5から2.5に設定することが推奨されています。

モデルの性能向上

モデルの作成者であるJeb Carterによると、命令追従性が大幅に向上し、新しい能力が現れ、必要な命令セットが減少し、文章の質やニュアンス、深みが改善され、既知の問題が解消されています。

設定ガイド

このモデルは「Class 2」モデルです。すべての設定（クラス固有の設定を含む）、生成例、高度な設定ガイド（多くの場合、モデルの問題を解決する方法が記載されています）、すべてのユースケース（チャット、ロールプレイなど）でのモデルのパフォーマンスを向上させる方法については、こちらを参照してください。

🔧 技術詳細

浮動小数点32ビットアップスケール

すべてのコンポーネントとマージが浮動小数点32ビットにリマスターされています。これには、すべてのマージ（マスターファイルで再作成）と可能な限りの完全なFP32モデルの置き換えが含まれます。

量子化と困惑度

Q2K、Q4KM、Q6などの量子化モデルで、困惑度が大幅に低下しています。これは、精度損失を最小限に抑える方法が採用されているためです。

設定オプションの技術的根拠

「Smoothing_factor」を1.5から2.5に設定することで、モデルのパフォーマンスが最適化されます。これは、モデルの出力の平滑化に関連しています。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。