Indri 0.1 350m Tts

🚀 indri-0.1-350m-tts

Indriは、テキスト読み上げ（TTS）、自動音声認識（ASR）、音声続き生成が可能な音声モデルシリーズです。このモデルは当シリーズの中規模（350M）のモデルで、英語とヒンディー語の2言語のTTSタスクをサポートしています。

🚀 クイックスタート

🤗 pipelines

下記のコードを使用して、モデルの使用を開始できます。パイプラインは、モデルの使用を開始する最良の方法です。

import torch
import torchaudio
from transformers import pipeline

model_id = '11mlabs/indri-0.1-350m-tts'
task = 'indri-tts'

pipe = pipeline(
    task,
    model=model_id,
    device=torch.device('cuda:0'), # Update this based on your hardware,
    trust_remote_code=True
)

output = pipe(['Hi, my name is Indri and I like to talk.'], speaker = '[spkr_63]')

torchaudio.save('output.wav', output[0]['audio'][0], sample_rate=24000)

利用可能な話者

セルフホストサービス

git clone https://github.com/cmeraki/indri.git
cd indri
pip install -r requirements.txt

# Install ffmpeg (for Mac/Windows, refer here: https://www.ffmpeg.org/download.html)
sudo apt update -y
sudo apt upgrade -y
sudo apt install ffmpeg -y

python -m inference --model_path 11mlabs/indri-0.1-350m-tts --device cuda:0 --port 8000

✨ 主な機能

1. GPT - 2の中規模アーキテクチャに基づく小型モデル。この手法は、自己回帰型のトランスフォーマーベースのアーキテクチャに拡張可能です。
2. 超高速。セルフホストサービスオプションを使用すると、RTX6000Ada NVIDIA GPUで最大300トークン/秒（1秒あたり3秒の音声生成）の速度を達成でき、最初のトークンまでの時間は20ms未満です。
3. RTX6000Adaでは、コンテキストの全長が1024トークンの場合、バッチサイズ約300のシーケンスをサポートできます。
4. 短いプロンプト（<5秒）での声のクローニングをサポートします。
5. 英語とヒンディー語の2言語のコードミキシングテキスト入力をサポートします。

📦 インストール

セルフホストサービス

git clone https://github.com/cmeraki/indri.git
cd indri
pip install -r requirements.txt

# Install ffmpeg (for Mac/Windows, refer here: https://www.ffmpeg.org/download.html)
sudo apt update -y
sudo apt upgrade -y
sudo apt install ffmpeg -y

python -m inference --model_path 11mlabs/indri-0.1-350m-tts --device cuda:0 --port 8000

💻 使用例

基本的な使用法

import torch
import torchaudio
from transformers import pipeline

model_id = '11mlabs/indri-0.1-350m-tts'
task = 'indri-tts'

pipe = pipeline(
    task,
    model=model_id,
    device=torch.device('cuda:0'), # Update this based on your hardware,
    trust_remote_code=True
)

output = pipe(['Hi, my name is Indri and I like to talk.'], speaker = '[spkr_63]')

torchaudio.save('output.wav', output[0]['audio'][0], sample_rate=24000)

📚 ドキュメント

モデルの詳細

モデルの説明

indri - 0.1 - 350m - ttsは、トランスフォーマーアーキテクチャに基づく、新しい超小型で軽量なTTSモデルです。このモデルは音声をトークンとしてモデリングし、話者のスタイルを一貫してクローニングした高品質な音声を生成できます。

サンプル

詳細

🔧 技術詳細

このモデルの動作原理の概要は以下の通りです：

1. 入力テキストをトークンに変換します。
2. GPT - 2ベースのトランスフォーマーモデルで自己回帰的なデコードを実行し、音声トークンを生成します。
3. 音声トークンを（Kyutai/mimiを使用して）音声にデコードします。

モデルの構築に関する詳細な技術情報については、こちらのブログをご覧ください。

📄 ライセンス

このモデルは商用利用できません。研究用の展示のみです。

参考情報

引用

このモデルを研究で使用する場合は、以下のように引用してください：

@misc{indri-multimodal-alm,
  author       = {11mlabs},
  title        = {Indri: Multimodal audio language model},
  year         = {2024},
  publisher    = {GitHub},
  journal      = {GitHub Repository},
  howpublished = {\url{https://github.com/cmeraki/indri}},
  email        = {compute@merakilabs.com}
}

BibTex

1. nanoGPT

@techreport{kyutai2024moshi,
      title={Moshi: a speech-text foundation model for real-time dialogue},
      author={Alexandre D\'efossez and Laurent Mazar\'e and Manu Orsini and
      Am\'elie Royer and Patrick P\'erez and Herv\'e J\'egou and Edouard Grave and Neil Zeghidour},
      year={2024},
      eprint={2410.00037},
      archivePrefix={arXiv},
      primaryClass={eess.AS},
      url={https://arxiv.org/abs/2410.00037},
}

2. Whisper

@misc{radford2022whisper,
  doi = {10.48550/ARXIV.2212.04356},
  url = {https://arxiv.org/abs/2212.04356},
  author = {Radford, Alec and Kim, Jong Wook and Xu, Tao and Brockman, Greg and McLeavey, Christine and Sutskever, Ilya},
  title = {Robust Speech Recognition via Large-Scale Weak Supervision},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

3. silero-vad

@misc{Silero VAD,
  author = {Silero Team},
  title = {Silero VAD: pre-trained enterprise-grade Voice Activity Detector (VAD), Number Detector and Language Classifier},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/snakers4/silero-vad}},
  commit = {insert_some_commit_here},
  email = {hello@silero.ai}
}

関連リンク