Qwen2.5 Omni 3B

🚀 Qwen2.5-Omni

Qwen2.5-Omni是一個端到端的多模態模型，能夠感知多種模態信息，包括文本、圖像、音頻和視頻，同時以流式方式生成文本和自然語音響應，為多模態交互提供了強大的支持。

🚀 快速開始

我們提供了簡單的示例，展示如何使用🤗 Transformers來使用Qwen2.5-Omni。Qwen2.5-Omni的代碼已集成在最新的Hugging face transformers中，建議使用以下命令從源代碼構建：

pip uninstall transformers
pip install git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview
pip install accelerate

否則可能會遇到以下錯誤：

KeyError: 'qwen2_5_omni'

我們還提供了一個工具包，幫助你更方便地處理各種類型的音頻和視覺輸入，就像使用API一樣。它支持base64、URL以及交錯的音頻、圖像和視頻。你可以使用以下命令安裝，並確保你的系統已安裝ffmpeg：

# 強烈建議使用 `[decord]` 特性以加快視頻加載速度
pip install qwen-omni-utils[decord] -U

如果你不使用Linux系統，可能無法從PyPI安裝decord。這種情況下，你可以使用pip install qwen-omni-utils -U，它將回退到使用torchvision進行視頻處理。不過，你仍然可以從源代碼安裝decord，以便在加載視頻時使用decord。

🤗 Transformers使用方法

以下是一個代碼片段，展示如何使用transformers和qwen_omni_utils來使用聊天模型：

import soundfile as sf

from transformers import Qwen2_5OmniForConditionalGeneration, Qwen2_5OmniProcessor
from qwen_omni_utils import process_mm_info

# 默認：將模型加載到可用設備上
model = Qwen2_5OmniForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-3B", torch_dtype="auto", device_map="auto")

# 建議啟用 flash_attention_2 以獲得更好的加速和內存節省效果
# model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-Omni-3B",
#     torch_dtype="auto",
#     device_map="auto",
#     attn_implementation="flash_attention_2",
# )

processor = Qwen2_5OmniProcessor.from_pretrained("Qwen/Qwen2.5-Omni-3B")

conversation = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-Omni/draw.mp4"},
        ],
    },
]

# 設置是否使用視頻中的音頻
USE_AUDIO_IN_VIDEO = True

# 推理前的準備工作
text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
audios, images, videos = process_mm_info(conversation, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", padding=True, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = inputs.to(model.device).to(model.dtype)

# 推理：生成輸出文本和音頻
text_ids, audio = model.generate(**inputs, use_audio_in_video=USE_AUDIO_IN_VIDEO)

text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)
sf.write(
    "output.wav",
    audio.reshape(-1).detach().cpu().numpy(),
    samplerate=24000,
)

# 批量推理的示例消息

# 僅包含視頻的對話
conversation1 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "/path/to/video.mp4"},
        ]
    }
]

# 僅包含音頻的對話
conversation2 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "audio", "audio": "/path/to/audio.wav"},
        ]
    }
]

# 純文本對話
conversation3 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": "who are you?"
    }
]

# 包含多種媒體的對話
conversation4 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "video", "video": "/path/to/video.mp4"},
            {"type": "audio", "audio": "/path/to/audio.wav"},
            {"type": "text", "text": "What are the elements can you see and hear in these medias?"},
        ],
    }
]

# 合併消息以進行批量處理
conversations = [conversation1, conversation2, conversation3, conversation4]

# 設置是否使用視頻中的音頻
USE_AUDIO_IN_VIDEO = True

# 批量推理前的準備工作
text = processor.apply_chat_template(conversations, add_generation_prompt=True, tokenize=False)
audios, images, videos = process_mm_info(conversations, use_audio_in_video=USE_AUDIO_IN_VIDEO)

inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", padding=True, use_audio_in_video=USE_AUDIO_IN_VIDEO)
inputs = inputs.to(model.device).to(model.dtype)

# 批量推理
text_ids = model.generate(**inputs, use_audio_in_video=USE_AUDIO_IN_VIDEO, return_audio=False)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(text)

使用提示

音頻輸出提示

如果用戶需要音頻輸出，系統提示必須設置為 "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."，否則音頻輸出可能無法按預期工作。

{
    "role": "system",
    "content": [
        {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
    ],
}

使用視頻中的音頻

在多模態交互過程中，用戶提供的視頻通常會附帶音頻（例如關於視頻內容的問題，或視頻中某些事件產生的聲音）。這些信息有助於模型提供更好的交互體驗。因此，我們為用戶提供了以下選項，以決定是否使用視頻中的音頻：

# 第一步，數據預處理
audios, images, videos = process_mm_info(conversations, use_audio_in_video=True)

# 第二步，模型處理器
inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", 
                   padding=True, use_audio_in_video=True)

# 第三步，模型推理
text_ids, audio = model.generate(**inputs, use_audio_in_video=True)

值得注意的是，在多輪對話中，這些位置的use_audio_in_video參數必須設置為相同的值，否則可能會出現意外結果。

是否使用音頻輸出

模型支持文本和音頻輸出。如果用戶不需要音頻輸出，可以在初始化模型後調用model.disable_talker()。此選項將節省約~2GB的GPU內存，但generate函數的return_audio選項將只能設置為False。

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-3B",
    torch_dtype="auto",
    device_map="auto"
)
model.disable_talker()

為了獲得更靈活的體驗，我們建議用戶在調用generate函數時決定是否返回音頻。如果將return_audio設置為False，模型將僅返回文本輸出，從而更快地獲得文本響應。

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-3B",
    torch_dtype="auto",
    device_map="auto"
)
...
text_ids = model.generate(**inputs, return_audio=False)

更改輸出音頻的語音類型

Qwen2.5-Omni支持更改輸出音頻的語音類型。"Qwen/Qwen2.5-Omni-3B"檢查點支持以下兩種語音類型：

用戶可以使用generate函數的speaker參數來指定語音類型。默認情況下，如果未指定speaker，默認語音類型為Chelsie。

text_ids, audio = model.generate(**inputs, speaker="Chelsie")

text_ids, audio = model.generate(**inputs, speaker="Ethan")

使用Flash-Attention 2加速生成

首先，確保安裝最新版本的Flash Attention 2：

pip install -U flash-attn --no-build-isolation

此外，你需要有與FlashAttention 2兼容的硬件。更多信息請閱讀flash attention倉庫的官方文檔。FlashAttention-2僅在模型以torch.float16或torch.bfloat16加載時可用。

要使用FlashAttention-2加載和運行模型，在加載模型時添加attn_implementation="flash_attention_2"：

from transformers import Qwen2_5OmniForConditionalGeneration

model = Qwen2_5OmniForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-Omni-3B",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)

✨ 主要特性

• 全模態與新穎架構：我們提出了Thinker-Talker架構，這是一種端到端的多模態模型，旨在感知多種模態，包括文本、圖像、音頻和視頻，同時以流式方式生成文本和自然語音響應。我們還提出了一種新穎的位置嵌入，名為TMRoPE（時間對齊的多模態RoPE），用於同步視頻輸入與音頻的時間戳。
• 即時語音和視頻聊天：該架構專為完全即時交互而設計，支持分塊輸入和即時輸出。
• 自然且穩健的語音生成：超越了許多現有的流式和非流式替代方案，在語音生成方面表現出卓越的穩健性和自然度。
• 跨模態的強大性能：在與同等規模的單模態模型進行基準測試時，在所有模態上均表現出色。Qwen2.5-Omni在音頻能力上優於同等規模的Qwen2-Audio，並達到了與Qwen2.5-VL-7B相當的性能。
• 出色的端到端語音指令遵循能力：Qwen2.5-Omni在端到端語音指令遵循方面的表現與其在文本輸入時的有效性相當，這在MMLU和GSM8K等基準測試中得到了證明。

模型架構

性能

我們對Qwen2.5-Omni進行了全面評估，結果表明，與同等規模的單模態模型和閉源模型（如Qwen2.5-VL-7B、Qwen2-Audio和Gemini-1.5-pro）相比，它在所有模態上都表現出強大的性能。在需要整合多種模態的任務中，如OmniBench，Qwen2.5-Omni達到了最先進的性能。此外，在單模態任務中，它在語音識別（Common Voice）、翻譯（CoVoST2）、音頻理解（MMAU）、圖像推理（MMMU、MMStar）、視頻理解（MVBench）和語音生成（Seed-tts-eval和主觀自然度）等方面表現出色。

📄 許可證

本項目採用qwen-research許可證，詳情請見LICENSE。

引用

如果您發現我們的論文和代碼在您的研究中很有用，請考慮給我們一個星星 :star: 並進行引用 :pencil: :)

@article{Qwen2.5-Omni,
  title={Qwen2.5-Omni Technical Report},
  author={Jin Xu, Zhifang Guo, Jinzheng He, Hangrui Hu, Ting He, Shuai Bai, Keqin Chen, Jialin Wang, Yang Fan, Kai Dang, Bin Zhang, Xiong Wang, Yunfei Chu, Junyang Lin},
  journal={arXiv preprint arXiv:2503.20215},
  year={2025}
}