Toriigate V0.4 7B GGUF

🚀 ToriiGate-v0.4-7B 量子化モデル

このプロジェクトは、Minthy/ToriiGate-v0.4-7B モデルの静的量子化バージョンを提供しています。多モーダル、ビジュアル、画像テキストからテキストへの変換などのタスクに適しています。

📦 モデル情報

🚀 クイックスタート

概要

これは https://huggingface.co/Minthy/ToriiGate-v0.4-7B の静的量子化バージョンです。重み/行列量子化ファイルは https://huggingface.co/mradermacher/ToriiGate-v0.4-7B-i1-GGUF から入手できます。

使い方

GGUF ファイルの使い方がわからない場合は、TheBloke の README を参照して、複数の部分ファイルを結合する方法などの詳細情報を取得してください。

📄 提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ 量子化は通常、同じサイズの非 IQ 量子化よりも優れています）

ここに ikawrakow 提供の便利なグラフがあり、いくつかの低品質量子化タイプを比較しています（値が低いほど良い）：

また、こちらは Artefact2 のこの問題に関する見解です：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問とモデルリクエスト

何か質問がある場合、または他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

私の会社 nethype GmbH に感謝します。彼らは私が彼らのサーバーを使用することを許可し、私のワークステーションをアップグレードして、私が余暇時間にこの作業を完了することを可能にしてくれました。また、@nicoboss にも感謝します。彼は私に彼のプライベートスーパーコンピューターを使用させてくれ、より多くの高品質な行列量子化ファイルを提供することができるようになりました。