license: other license_name: qwen-research license_link: LICENSE language:

• en tags:
• multimodal library_name: transformers pipeline_tag: any-to-any

Qwen2.5-Omni

概要

紹介

Qwen2.5-Omniは、テキスト、画像、音声、動画など多様なモダリティを認識し、同時にテキストと自然な音声応答をストリーミング方式で生成するエンドツーエンドのマルチモーダルモデルです。

主な特徴

• オムニかつ革新的なアーキテクチャ: Thinker-Talkerアーキテクチャを提案し、テキスト、画像、音声、動画など多様なモダリティを認識し、同時にテキストと自然な音声応答をストリーミング方式で生成します。動画入力と音声のタイムスタンプを同期させるために、TMRoPE（Time-aligned Multimodal RoPE）という新しい位置埋め込みを提案しています。

• リアルタイム音声・動画チャット: 完全なリアルタイムインタラクションをサポートするアーキテクチャで、チャンク入力と即時出力に対応しています。

• 自然で堅牢な音声生成: 既存のストリーミングおよび非ストリーミングの代替モデルを凌駕し、音声生成において優れた堅牢性と自然さを実証しています。

• 全モダリティでの強力な性能: 同サイズの単一モダリティモデルと比較して、すべてのモダリティで卓越した性能を示しています。Qwen2.5-Omniは、同サイズのQwen2-Audioを音声能力で上回り、Qwen2.5-VL-7Bと同等の性能を達成しています。

• 優れたエンドツーエンド音声指示追従: Qwen2.5-Omniは、MMLUやGSM8Kなどのベンチマークで示されるように、テキスト入力と同等の効果を持つエンドツーエンド音声指示追従の性能を示しています。

モデルアーキテクチャ

性能

Qwen2.5-Omniの包括的な評価を行い、同サイズの単一モダリティモデルやQwen2.5-VL-7B、Qwen2-Audio、Gemini-1.5-proなどのクローズドソースモデルと比較して、すべてのモダリティで強力な性能を示しています。OmniBenchのような複数のモダリティを統合するタスクでは、Qwen2.5-Omniは最先端の性能を達成しています。さらに、単一モダリティタスクでは、音声認識（Common Voice）、翻訳（CoVoST2）、音声理解（MMAU）、画像推論（MMMU、MMStar）、動画理解（MVBench）、音声生成（Seed-tts-evalおよび主観的自然さ）などの領域で優れています。