Verireason Qwen2.5 1.5B Grpo Small GGUF

🚀 VeriReason-Qwen2.5-1.5B-grpo-small の静的量子化モデル

このプロジェクトは、VeriReason-Qwen2.5-1.5B-grpo-small モデルの静的量子化バージョンを提供します。量子化されたモデルは、メモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

このモデルの量子化バージョンについて、以下の情報を参考にしてください。

📚 ドキュメント

モデル情報

概要

https://huggingface.co/Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small の静的量子化バージョンです。現時点では、加重/インマトリックス量子化は利用できない可能性があります。静的量子化バージョンが公開されてから約1週間後にまだ表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADMEを参照してください。これには、マルチパートファイルの結合方法も含まれています。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

以下は、ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社である nethype GmbH に感謝します。彼らは、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことで、私が余暇時間にこの作業を行うことを可能にしてくれました。