STEVE R1 7B SFT GGUF

🚀 STEVE-R1-7B-SFT 量子化モデル

このプロジェクトは、Fanbin/STEVE-R1-7B-SFTモデルの静的量子化バージョンを提供します。量子化されたモデルは、さまざまな用途での使用が可能で、モデルのサイズを削減しながら性能を維持します。

🚀 クイックスタート

この量子化モデルを使用する前に、GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照してください。ここには、マルチパートファイルの連結方法などの詳細が記載されています。

📚 詳細ドキュメント

モデル情報

量子化モデルについて

このモデルは、https://huggingface.co/Fanbin/STEVE-R1-7B-SFT の静的量子化バージョンです。重み付き/imatrix量子化モデルは、https://huggingface.co/mradermacher/STEVE-R1-7B-SFT-i1-GGUF で入手できます。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質を反映しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、いくつかの低品質量子化タイプを比較した便利なグラフを以下に示します（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下で公開されています。

🙏 謝辞

この作業を可能にするために、私の会社であるnethype GmbHには、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことに感謝します。また、@nicobossには、私が彼のプライベートスーパーコンピューターにアクセスできるようにしてくれたことに感謝します。これにより、私は通常よりもはるかに高品質の多くのimatrix量子化を提供することができました。