Qwen2 Audio 7B Instruct I1 GGUF

🚀 Qwen2-Audio-7B-Instruct 量子化モデル

このプロジェクトは、Qwen/Qwen2-Audio-7B-Instructモデルを量子化したものです。量子化されたモデルは、GGUF形式で提供され、さまざまなサイズとタイプがあります。

🚀 クイックスタート

概要

このモデルは、https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct のweighted/imatrix量子化バージョンです。静的量子化データは、https://huggingface.co/mradermacher/Qwen2-Audio-7B-Instruct-GGUF で入手できます。

モデル情報

📚 ドキュメント

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法など、詳細な情報が記載されています。

提供される量子化モデル

（サイズ順に並んでいますが、必ずしも品質が保証されるわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

量子化タイプの比較

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低い方が良い）。

関連情報

Artefact2による量子化に関する考察は、https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 で確認できます。

FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用とワークステーションのアップグレードを許可していただき、感謝いたします。また、@nicoboss が私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことにも感謝します。これにより、私は通常よりもはるかに高品質の多くのimatrix量子化データを提供することができました。