Qwen2 - Audio - 7B - Instruct - GGUFオープンソースモデル - 英語のオーディオを無料でテキストに書き起こしをサポート

ホーム

Qwen2 Audio 7B Instruct GGUF

mradermacherによって開発

Qwen2-Audio-7B-Instructモデルの静的量子化バージョンで、英語音声テキスト変換タスクをサポート

音声生成テキスト

Transformers

英語オープンソースライセンス:Apache-2.0 #音声テキスト変換 #マルチ量子化バージョン #低リソース展開

ダウンロード数 146

リリース時間 : 5/31/2025

モデル概要

これはQwen/Qwen2-Audio-7B-Instructモデルに基づく静的量子化バージョンで、主に音声関連のテキスト変換タスクを処理するために使用されます。

モデル特徴

複数量子化バージョン

Q2_Kからf16まで様々な量子化バージョンを提供し、異なるニーズに対応

効率的な推論

量子化モデルはモデルサイズを大幅に削減し、推論効率を向上

音声処理能力

音声テキスト変換タスクに特化して最適化

モデル能力

音声テキスト変換

英語テキスト処理

チャットインタラクション

使用事例

音声処理

音声文字起こし

音声内容をテキストに変換

音声コマンド処理

音声コマンドを処理し、対応するテキスト応答を生成

🚀 Qwen/Qwen2-Audio-7B-Instructについて

このプロジェクトは、Qwen/Qwen2-Audio-7B-Instructモデルの静的量子化バージョンを提供します。量子化されたモデルは、より小さなサイズで高速な推論を可能にし、リソース制約のある環境でも使用できます。

📚 詳細情報

モデル情報

属性	詳細
ベースモデル	Qwen/Qwen2-Audio-7B-Instruct
言語	en
ライブラリ名	transformers
ライセンス	apache-2.0
量子化担当者	mradermacher
タグ	chat、audio、audio-text-to-text

量子化モデル

https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct の静的量子化バージョンです。重み付き/インマトリックス量子化は、https://huggingface.co/mradermacher/Qwen2-Audio-7B-Instruct-i1-GGUF で利用可能です。

💻 使用例

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

📦 提供される量子化モデル

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

リンク	タイプ	サイズ(GB)	備考
GGUF	Q2_K	3.2
GGUF	Q3_K_S	3.7
GGUF	Q3_K_M	4.0	低品質
GGUF	Q3_K_L	4.3
GGUF	IQ4_XS	4.4
GGUF	Q4_K_S	4.7	高速、推奨
GGUF	Q4_K_M	4.9	高速、推奨
GGUF	Q5_K_S	5.5
GGUF	Q5_K_M	5.7
GGUF	Q6_K	6.5	非常に良い品質
GGUF	Q8_0	8.3	高速、最高品質
GGUF	f16	15.6	16 bpw、過剰

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

❓ FAQ / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

この作業を可能にするために、自社のサーバーを使用させてくれたnethype GmbH と、ワークステーションのアップグレードを提供してくれた会社に感謝します。また、@nicoboss が私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことにも感謝します。これにより、私は通常よりもはるかに多くのインマトリックス量子化を高品質で提供することができました。