Emova Qwen 2 5 7b Hf

🚀 EMOVA-Qwen-2.5-7B-HF

EMOVA（情感全模態語音助手）是一種新穎的端到端全模態大語言模型，無需依賴外部模型，就能實現看、聽、說的功能。它能根據文本、視覺和語音等全模態輸入，結合語音解碼器和風格編碼器，生成帶有生動情感控制的文本和語音響應。該模型具備通用的全模態理解和生成能力，在高級視覺語言理解、情感語音對話以及帶有結構數據理解的語音對話方面表現出色。

🚀 快速開始

本倉庫包含以HuggingFace格式組織的 EMOVA-Qwen2.5-7B 檢查點，因此可以直接使用 transformers Auto API 進行加載。

from transformers import AutoModel, AutoProcessor
from PIL import Image
import torch

### 如果你想使用昇騰NPUs，請取消註釋
# import torch_npu
# from torch_npu.contrib import transfer_to_npu

# 準備模型和處理器
model = AutoModel.from_pretrained(
    "Emova-ollm/emova-qwen-2-5-7b-hf",
    torch_dtype=torch.bfloat16,
    attn_implementation='flash_attention_2', # 或者對於昇騰NPUs使用 'sdpa'
    low_cpu_mem_usage=True,
    trust_remote_code=True).eval().cuda()
processor = AutoProcessor.from_pretrained("Emova-ollm/emova-qwen-2-5-7b-hf", trust_remote_code=True)

# 僅在語音對話時需要
# 注意，要使用語音輸入/輸出進行推理，**emova_speech_tokenizer** 仍然是必要的依賴項 (https://huggingface.co/Emova-ollm/emova_speech_tokenizer_hf#install)。
speeck_tokenizer = AutoModel.from_pretrained("Emova-ollm/emova_speech_tokenizer_hf", torch_dtype=torch.float32, trust_remote_code=True).eval().cuda()
processor.set_speech_tokenizer(speeck_tokenizer)

# 示例1：圖像 - 文本
inputs = dict(
    text=[
        {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
        {"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What's shown in this image?"}]},
        {"role": "assistant", "content": [{"type": "text", "text": "This image shows a red stop sign."}]},
        {"role": "user", "content": [{"type": "text", "text": "Describe the image in more details."}]},
    ],
    images=Image.open('path/to/image')
)

# 示例2：文本 - 音頻
inputs = dict(
    text=[{"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]}],
    audios='path/to/audio'
)

# 示例3：圖像 - 文本 - 音頻
inputs = dict(
    text=[{"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]}],
    images=Image.open('path/to/image'),
    audios='path/to/audio'
)

# 運行處理器
has_speech = 'audios' in inputs.keys()
inputs = processor(**inputs, return_tensors="pt")
inputs = inputs.to(model.device)

# 準備生成參數
gen_kwargs = {"max_new_tokens": 4096, "do_sample": False} # 必要時添加
speech_kwargs = {"speaker": "female", "output_wav_prefix": "output"} if has_speech else {}

# 運行生成
# 對於語音輸出，我們將返回保存的wav文件路徑 (參見 output_wav_prefix)
with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(processor.batch_decode(outputs, skip_special_tokens=True, **speech_kwargs))

✨ 主要特性

• 先進的全模態性能：EMOVA在視覺語言和語音基準測試中同時取得了最先進的可比結果。其性能最佳的模型 EMOVA-72B 甚至超越了包括GPT - 4o和Gemini Pro 1.5在內的商業模型。
• 情感語音對話：採用了語義 - 聲學解耦的語音分詞器和輕量級的風格控制模塊，實現了無縫的全模態對齊和多樣化的語音風格可控性。EMOVA支持具有 24種語音風格控制（即2個說話人、3種音高和4種情感）的 雙語（中文和英文） 語音對話。
• 多樣化的配置：開源了3種配置，即 EMOVA - 3B/7B/72B，以支持不同計算預算下的全模態使用。你可以查看 模型庫 ，為你的計算設備找到最合適的模型！

📚 詳細文檔

模型信息

模型性能

模型索引

• 名稱：emova - qwen - 2 - 5 - 7b - hf
• 結果：
  • 任務類型：多模態
    • 數據集：AI2D，類型：ai2d，指標：準確率81.7%
    • 數據集：ChartQA，類型：chartqa，指標：準確率84.9%
    • 數據集：DocVQA，類型：docvqa，指標：準確率94.2%
    • 數據集：InfoVQA，類型：infovqa，指標：準確率75.1%
    • 數據集：MathVerse，類型：mathverse，指標：準確率40.9%
    • 數據集：MathVista，類型：mathvista，指標：準確率65.5%
    • 數據集：MMBench，類型：mmbench，指標：準確率83%
    • 數據集：MME，類型：mme，指標：分數2317
    • 數據集：MMVet，類型：mmvet，指標：準確率59.4%
    • 數據集：OCRBench，類型：ocrbench，指標：準確率814
    • 數據集：RealWorldQA，類型：realworldqa，指標：準確率67.5%
    • 數據集：Seed - Bench - Image，類型：seed - bench - image，指標：準確率75.5%
    • 數據集：Science - QA，類型：science - qa，指標：準確率96.4%
    • 數據集：TextVQA，類型：textvqa，指標：準確率78%
  • 任務名稱：自動語音識別，類型：automatic - speech - recognition
    • 數據集：LibriSpeech (clean)，類型：librispeech_asr，配置：clean，分割：test，參數：語言為英文，指標：測試字錯率4.1%

📄 許可證

本項目採用 apache - 2.0 許可證。

📖 引用

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}

項目鏈接