license: other license_name: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen2.5-Omni-7B/blob/main/LICENSE language:

• en tags:
• multimodal library_name: transformers pipeline_tag: any-to-any

Qwen2.5-Omni

概要

紹介

Qwen2.5-Omniは、テキスト、画像、音声、動画など多様なモダリティを認識し、同時にストリーミング方式でテキストと自然な音声応答を生成するエンドツーエンドのマルチモーダルモデルです。

主な特徴

• オムニかつ革新的なアーキテクチャ: Thinker-Talkerアーキテクチャを提案し、テキスト、画像、音声、動画など多様なモダリティを認識し、同時にストリーミング方式でテキストと自然な音声応答を生成します。動画入力と音声のタイムスタンプを同期させるために、TMRoPE（Time-aligned Multimodal RoPE）という新しい位置埋め込みを提案しています。

• リアルタイム音声・動画チャット: 完全なリアルタイムインタラクションをサポートするアーキテクチャで、チャンク入力と即時出力に対応しています。

• 自然で堅牢な音声生成: 既存のストリーミングおよび非ストリーミング方式を凌駕し、音声生成において優れた堅牢性と自然さを実現しています。

• 全モダリティでの強力な性能: 同規模の単一モダリティモデルと比較して、すべてのモダリティで卓越した性能を示しています。Qwen2.5-Omniは、同規模のQwen2-Audioを音声能力で上回り、Qwen2.5-VL-7Bと同等の性能を達成しています。

• 優れたエンドツーエンド音声指示追従: Qwen2.5-Omniは、MMLUやGSM8Kなどのベンチマークで示されるように、テキスト入力と同等の効果を持つエンドツーエンド音声指示追従の性能を示しています。

モデルアーキテクチャ

性能

Qwen2.5-Omniの包括的な評価を行い、同規模の単一モダリティモデルやQwen2.5-VL-7B、Qwen2-Audio、Gemini-1.5-proなどのクローズドソースモデルと比較して、すべてのモダリティで強力な性能を示しています。OmniBenchのような複数モダリティの統合を必要とするタスクでは、Qwen2.5-Omniは最先端の性能を達成しています。さらに、単一モダリティタスクにおいても、音声認識（Common Voice）、翻訳（CoVoST2）、音声理解（MMAU）、画像推論（MMMU、MMStar）、動画理解（MVBench）、音声生成（Seed-tts-evalおよび主観的自然さ）などの領域で優れています。