Emova Qwen 2 5 3b

🚀 EMOVA-Qwen-2.5-3B

EMOVA-Qwen-2.5-3B 是一款創新的端到端全模態大語言模型，無需依賴外部模型，即可實現視覺、聽覺和語言交互。它能夠處理文本、視覺和語音等多模態輸入，並通過語音解碼器和風格編碼器生成帶有生動情感控制的文本和語音響應。該模型具備通用的全模態理解和生成能力，在高級視覺語言理解、情感語音對話以及帶有結構數據理解的語音對話方面表現出色。

✨ 主要特性

• 最先進的全模態性能：EMOVA在視覺語言和語音基準測試中同時取得了最先進的可比結果。表現最佳的模型 EMOVA-72B 甚至超越了包括GPT - 4o和Gemini Pro 1.5在內的商業模型。
• 情感語音對話：採用了語義 - 聲學解耦的語音分詞器和輕量級的風格控制模塊，實現了無縫的全模態對齊和多樣化的語音風格可控性。EMOVA支持雙語（中文和英文） 語音對話，並具備24種語音風格控制（即2個說話人、3種音高和4種情感）。
• 多樣化配置：開源了3種配置，即EMOVA - 3B/7B/72B，以支持不同計算預算下的全模態使用。您可以查看模型庫，為您的計算設備找到最合適的模型！

📚 詳細文檔

模型評估結果

不同模型性能對比

💻 使用示例

本倉庫包含以 EMOVA代碼庫 原始格式 組織的 EMOVA - Qwen2.5 - 3B 檢查點，因此，它應與EMOVA代碼庫一起使用。其配對的配置文件可在 此處 獲取。您可以查看 此處 以使用此檢查點啟動Web演示。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}