Emova Qwen 2 5 3b

🚀 EMOVA-Qwen-2.5-3B

EMOVA（Emotionally Omni-present Voice Assistant）は、外部モデルに依存せずに、見る、聞く、話すことができる、新しいエンドツーエンドのオムニモーダル大規模言語モデル（LLM）です。オムニモーダル（すなわち、テキスト、ビジュアル、音声）の入力を与えると、EMOVAは音声デコーダとスタイルエンコーダを利用して、生き生きとした感情制御を伴うテキストと音声の両方の応答を生成することができます。EMOVAは、一般的なオムニモーダル理解と生成能力を備えており、高度なビジョン言語理解、感情的な音声対話、構造化データ理解を伴う音声対話において優れた性能を発揮します。

✨ 主な機能

• 最先端のオムニモーダル性能：EMOVAは、ビジョン言語と音声の両方のベンチマークで、同時に最先端の同等の結果を達成しています。最も性能の高いモデルであるEMOVA-72Bは、GPT-4oやGemini Pro 1.5などの商用モデルを上回っています。
• 感情的な音声対話：意味論的 - 音響的分離型の音声トークナイザと軽量なスタイル制御モジュールを採用して、シームレスなオムニモーダルアライメントと多様な音声スタイルの制御を実現しています。EMOVAは、24種類の音声スタイル制御（すなわち、2人の話者、3種類のピッチ、4種類の感情） を備えたバイリンガル（中国語と英語） の音声対話をサポートしています。
• 多様な構成：3つの構成、EMOVA-3B/7B/72Bをオープンソースで公開して、異なる計算予算でのオムニモーダル使用をサポートしています。モデルズーをチェックして、あなたの計算デバイスに最適なモデルを見つけてください！

📊 性能

💻 使用例

このリポジトリには、EMOVAコードベースの元の形式で整理されたEMOVA-Qwen2.5-3Bのチェックポイントが含まれています。したがって、これはEMOVAコードベースと一緒に使用する必要があります。対応する設定ファイルは、こちらで提供されています。このチェックポイントを使用してウェブデモを起動するには、こちらをチェックしてください。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

📚 引用

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}

📋 モデル情報