Emova Qwen 2 5 3b

🚀 EMOVA-Qwen-2.5-3B

EMOVA-Qwen-2.5-3B 是一款创新的端到端全模态大语言模型，无需依赖外部模型，即可实现视觉、听觉和语言交互。它能够处理文本、视觉和语音等多模态输入，并通过语音解码器和风格编码器生成带有生动情感控制的文本和语音响应。该模型具备通用的全模态理解和生成能力，在高级视觉语言理解、情感语音对话以及带有结构数据理解的语音对话方面表现出色。

✨ 主要特性

• 最先进的全模态性能：EMOVA在视觉语言和语音基准测试中同时取得了最先进的可比结果。表现最佳的模型 EMOVA-72B 甚至超越了包括GPT - 4o和Gemini Pro 1.5在内的商业模型。
• 情感语音对话：采用了语义 - 声学解耦的语音分词器和轻量级的风格控制模块，实现了无缝的全模态对齐和多样化的语音风格可控性。EMOVA支持双语（中文和英文） 语音对话，并具备24种语音风格控制（即2个说话人、3种音高和4种情感）。
• 多样化配置：开源了3种配置，即EMOVA - 3B/7B/72B，以支持不同计算预算下的全模态使用。您可以查看模型库，为您的计算设备找到最合适的模型！

📚 详细文档

模型评估结果

不同模型性能对比

💻 使用示例

本仓库包含以 EMOVA代码库 原始格式 组织的 EMOVA - Qwen2.5 - 3B 检查点，因此，它应与EMOVA代码库一起使用。其配对的配置文件可在 此处 获取。您可以查看 此处 以使用此检查点启动Web演示。

📄 许可证

本项目采用Apache - 2.0许可证。

📚 引用

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}