Qwen2 Audio 7B GGUF

🚀 Qwen2-Audio

Qwen2-Audioは、音声とテキスト入力を扱う最先端の小規模マルチモーダルモデル（AudioLM）です。このモデルを使用すると、ASRモジュールなしで音声対話を行うことができます。英語、中国語、および主要なヨーロッパ言語をサポートし、以下のようなローカルユースケースでの音声チャットと音声分析機能を提供します。

• 話者識別と応答
• 音声翻訳と文字起こし
• 混合音声とノイズ検出
• 音楽と音声分析

🎥 デモ

詳細なデモはブログをご覧ください。

🚀 クイックスタート

📦 インストール

以下に、Qwen2-Audioをデバイス上でローカルに実行する方法を示します。

ステップ1: Nexa-SDK（ローカルデバイス推論フレームワーク）のインストール Install Nexa-SDK

Nexa-SDKはオープンソースのローカルデバイス推論フレームワークで、テキスト生成、画像生成、ビジョン言語モデル（VLM）、音声言語モデル、音声文字変換（ASR）、および文字音声変換（TTS）機能をサポートしています。Pythonパッケージまたは実行可能インストーラーを通じてインストールできます。

ステップ2: ターミナルで以下のコードを実行する

nexa run qwen2audio

これにより、デフォルトのq4_K_M量子化が実行されます。

ターミナルでの操作方法：

1. オーディオファイルをターミナルにドラッグアンドドロップする（Linuxではファイルパスを入力）
2. 分析をガイドするテキストプロンプトを追加するか、音声入力を直接行う場合は空白のままにする

または、ローカルUI（streamlit）で使用する場合は：

nexa run qwen2audio -st

🔧 デバイス用の量子化を選択する

ここで異なる量子化バージョンを実行し、リスト内のRAM要件を確認してください。

デフォルトのq4_K_Mバージョンでは、4.2GBのRAMが必要です。

✨ 主な機能

💬 音声チャット

• 日常の質問に回答する
• 提案を提供する
• 話者識別と応答
• 音声翻訳
• 背景ノイズを検出し、それに応じて応答する

🎵 音声分析

• 情報抽出
• 音声要約
• 音声文字起こしと拡張
• 混合音声とノイズ検出
• 音楽と音声分析

📊 パフォーマンスベンチマーク

結果は、Qwen2-Audioがすべてのタスクで以前の最先端モデルまたはQwen-Audioを大幅に上回っていることを示しています。

📚 ドキュメント

詳細はブログをご覧ください。

👥 コミュニティに参加する

Discord | X(Twitter)

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。