Emova Speech Tokenizer Hf

🚀 EMOVA Speech Tokenizer HF

このリポジトリは、EMOVA シリーズのモデルを訓練するために使用される公式の音声トークナイザーを含んでいます。意味論的 - 音響的な分離設計により、視覚、言語、音声のモダリティ間のシームレスなオムニモーダルアライメントを容易にするだけでなく、話者、感情、ピッチなどの柔軟な音声スタイル制御も可能にします。

✨ 主な機能

モデルの概要

このリポジトリには、EMOVA シリーズのモデルを訓練するために使用される公式の音声トークナイザーが含まれています。意味論的 - 音響的な分離設計により、視覚、言語、音声のモダリティ間のシームレスなオムニモーダルアライメントを容易にするだけでなく、話者、感情、ピッチなどの柔軟な音声スタイル制御も可能にします。主な利点を以下にまとめます。

• 離散音声トークナイザー：SPIRALベースの 音声からユニットへの (S2U) トークナイザーを含み、入力音声の音韻と音調の情報を捕捉し、これを 有限スカラー量子化器 (FSQ) で離散的な音声ユニットに変換します。また、VITSベースの ユニットから音声への (U2S) デトークナイザーを使用して、音声ユニットから音声信号を再構築します。
• 意味論的 - 音響的分離：音声ユニットを大規模言語モデル (LLM) の高度に意味論的な埋め込み空間とシームレスにアラインさせるために、入力音声の 意味内容 と 音響スタイル を分離し、前者のみを使用して音声トークンを生成します。
• 両言語トークナイゼーション：EMOVA音声トークナイザーは、同じ音声コードブックを使用して、中国語 と 英語 の音声トークナイゼーションをサポートします。
• 柔軟な音声スタイル制御：意味論的 - 音響的分離により、EMOVA音声トークナイザーは 24種類の音声スタイル制御（つまり、2人の話者、3種類のピッチ、4種類の感情）をサポートします。詳細は 使用方法 を参照してください。

📦 インストール

このリポジトリをクローンし、condaを使用してEMOVA仮想環境を作成します。当社のコードは、NVIDIA A800/H20 GPU および Ascend 910B3 NPU サーバーで検証されています。他のデバイスでも利用可能かもしれません。

1. conda環境を初期化します。

git clone https://github.com/emova-ollm/EMOVA_speech_tokenizer.git
conda create -n emova python=3.10 -y
conda activate emova

2. 必要なパッケージをインストールします（注意：GPUとNPUの指示は異なります）。

# 必要に応じてpipとsetuptoolsをアップグレードします
pip install -U pip setuptools

cd emova_speech_tokenizer
pip install -e . # NVIDIA GPU (例: A800 および H20) 用
pip install -e .[npu] # または Ascend NPU (例: 910B3) 用

💻 使用例

基本的な使用法

⚠️ 重要提示

これを行う前に、まず インストール を完了することを忘れないでください！

EMOVA音声トークナイザーは、🤗 HuggingFace transformers APIを使用して簡単にデプロイできます！

import random
from transformers import AutoModel
import torch

### Ascend NPUを使用する場合はコメントを外してください
# import torch_npu
# from torch_npu.contrib import transfer_to_npu

# 事前学習済みモデルをロードします
model = AutoModel.from_pretrained("Emova-ollm/emova_speech_tokenizer_hf", torch_dtype=torch.float32, trust_remote_code=True).eval().cuda()

# S2U
wav_file = "./examples/s2u/example.wav"
speech_unit = model.encode(wav_file)
print(speech_unit)

# U2S
emotion = random.choice(['angry', 'happy', 'neutral', 'sad'])
speed = random.choice(['normal', 'fast', 'slow'])
pitch = random.choice(['normal', 'high', 'low'])
gender = random.choice(['female', 'male'])
condition = f'gender-{gender}_emotion-{emotion}_speed-{speed}_pitch-{pitch}'

output_wav_file = f'./examples/u2s/{condition}_output.wav'
model.decode(speech_unit, condition=condition, output_wav_file=output_wav_file)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

📚 引用

もし当社のモデル、コード、論文が役立った場合は、論文を引用し、スターを付けていただけると幸いです。

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}