Indic Parler Tts Pretrained

🚀 Indic Parler-TTS預訓練模型

Indic Parler-TTS預訓練模型 是 Parler-TTS Mini 的多語言印度語擴展版本。它在一個時長為 8385小時 的多語言印度語和英語數據集上進行訓練，並與微調版本 Indic Parler-TTS 一同發佈。該模型可以支持20種印度語言以及英語，為區域語言技術提供了全面的支持。

🚀 快速開始

本項目提供了一個預訓練的文本轉語音（TTS）模型，支持多種印度語言和英語。以下是使用該模型的基本步驟和示例代碼，幫助你快速上手。

安裝

使用Parler-TTS非常簡單，只需執行以下命令安裝庫：

pip install git+https://github.com/huggingface/parler-tts.git

✨ 主要特性

輸入要求

模型接受兩個主要輸入：

1. 文本內容（Transcript）：需要轉換為語音的文本。
2. 描述信息（Caption）：對語音輸出的詳細描述，例如 "Leela以高音調、快速且歡快的語調說話，充滿活力和喜悅。錄音質量非常高，沒有背景噪音。"

關鍵特性

1. 語言支持
   • 官方支持語言：阿薩姆語、孟加拉語、博多語、多格里語、英語、古吉拉特語、印地語、卡納達語、孔卡尼語、邁蒂利語、馬拉雅拉姆語、曼尼普爾語、馬拉地語、尼泊爾語、奧里亞語、梵語、桑塔利語、信德語、泰米爾語、泰盧固語和烏爾都語。
   • 非官方支持語言：恰蒂斯加爾語、克什米爾語、旁遮普語。
2. 說話人多樣性
   • 支持的語言中共有 69種獨特的語音。
   • 每種支持的語言都有一組 推薦語音，這些語音在自然度和清晰度方面進行了優化。
3. 情感渲染
   • 10種語言 官方支持特定情感的提示：阿薩姆語、孟加拉語、博多語、多格里語、卡納達語、馬拉雅拉姆語、馬拉地語、梵語、尼泊爾語和泰米爾語。
   • 其他語言也支持情感表達，但尚未經過廣泛測試。
   • 可用情感 包括：命令、憤怒、敘述、對話、厭惡、恐懼、快樂、中性、專有名詞、新聞、悲傷和驚訝。
4. 口音靈活性
   • 模型通過英語語音 官方支持印度英語口音，提供清晰自然的語音輸出。
   • 對於其他口音，模型允許通過指定口音細節進行自定義，例如 "一位英國男性說話者" 或 "一位美國女性說話者"，使用風格遷移實現更動態和個性化的輸出。
5. 可定製輸出 Indic Parler-TTS預訓練模型通過 描述信息（caption）輸入 提供對各種語音特徵的精確控制：
   • 背景噪音：調整音頻中的噪音水平，從清晰環境到略有噪音的環境。
   • 混響效果：控制語音的感知距離，從近聽起來的語音到遠聽起來的語音。
   • 表現力：指定語音的動態程度或單調程度，從富有表現力到略有表現力或單調。
   • 音調：修改語音的音調，包括高音、低音或平衡音調。
   • 語速：改變說話速度，從慢速到快速。
   • 語音質量：控制語音的整體清晰度和自然度，從基本質量到精緻質量。

💻 使用示例

基礎用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("ai4bharat/indic-parler-tts-pretrained").to(device)
tokenizer = AutoTokenizer.from_pretrained("ai4bharat/indic-parler-tts-pretrained")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Hey, how are you doing today?"
description = "A female speaker with a British accent delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

description_input_ids = description_tokenizer(description, return_tensors="pt").to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").to(device)

generation = model.generate(input_ids=description_input_ids.input_ids, attention_mask=description_input_ids.attention_mask, prompt_input_ids=prompt_input_ids.input_ids, prompt_attention_mask=prompt_input_ids.attention_mask)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("indic_tts_out.wav", audio_arr, model.config.sampling_rate)

高級用法

切換語言

模型會自動適應文本中檢測到的語言，無需指定要使用的語言。例如，要切換到印地語，只需使用印地語文本：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("ai4bharat/indic-parler-tts-pretrained").to(device)
tokenizer = AutoTokenizer.from_pretrained("ai4bharat/indic-parler-tts-pretrained")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "अरे, तुम आज कैसे हो?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

description_input_ids = description_tokenizer(description, return_tensors="pt").to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").to(device)

generation = model.generate(input_ids=description_input_ids.input_ids, attention_mask=description_input_ids.attention_mask, prompt_input_ids=prompt_input_ids.input_ids, prompt_attention_mask=prompt_input_ids.attention_mask)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("indic_tts_out.wav", audio_arr, model.config.sampling_rate)

使用特定說話人

為了確保生成過程中說話人的一致性，該模型還在預先確定的說話人上進行了訓練，這些說話人通過姓名來標識（例如Rohit、Karan、Leela、Maya、Sita等）。要使用特定的說話人，只需在文本描述中指定即可：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("ai4bharat/indic-parler-tts-pretrained").to(device)
tokenizer = AutoTokenizer.from_pretrained("ai4bharat/indic-parler-tts-pretrained")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "अरे, तुम आज कैसे हो?"
description = "Divya's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

description_input_ids = description_tokenizer(description, return_tensors="pt").to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").to(device)

generation = model.generate(input_ids=description_input_ids.input_ids, attention_mask=description_input_ids.attention_mask, prompt_input_ids=prompt_input_ids.input_ids, prompt_attention_mask=prompt_input_ids.attention_mask)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("indic_tts_out.wav", audio_arr, model.config.sampling_rate)

說話人信息

模型在18種官方支持的語言中共有 69位說話人，每種語言都有一組推薦的語音以實現最佳性能。以下是每種語言可用的說話人以及推薦的說話人列表：

描述示例

以下是一些描述示例，展示瞭如何通過描述信息來控制語音輸出：

1. Aditi - 略高音調、富有表現力的語調："Aditi在近距離環境中以略高音調說話。她的聲音清晰，帶有微妙的情感深度，語速正常，錄音質量很高。"
2. Sita - 快速、略單調："Sita以快速的節奏說話，聲音略低沉。錄音在近距離環境中進行，非常清晰，幾乎沒有背景噪音。"
3. Tapan - 男性、中等語速、略單調："Tapan以中等語速說話，語調略單調。錄音清晰，聲音感覺很近，只有極小的環境噪音。"
4. Sunita - 高音調、歡快語調："Sunita在近距離環境中以高音調說話。她的聲音清晰，有輕微的動態變化，錄音質量非常好。"
5. Karan - 高音調、積極語調："Karan的高音調、富有吸引力的聲音在清晰、近距離的錄音中被捕捉到。他稍微慢一些的語速傳達出積極的語氣。"
6. Amrita - 高音調、平淡語調："Amrita以高音調、慢速說話。她的聲音清晰，錄音質量非常好，只有適度的背景噪音。"
7. Aditi - 慢速、略富有表現力："Aditi以高音調和富有表現力的語調緩慢說話。錄音清晰，展現出她充滿活力和情感的聲音。"
8. 年輕男性說話者，美國口音："一位帶有高音調美國口音的年輕男性說話者在清晰、近距離的錄音中以略快的語速說話。"
9. Bikram - 高音調、緊急語調："Bikram以較高的音調快速說話，傳達出緊迫感。錄音清晰且親密，具有很強的情感深度。"
10. Anjali - 高音調、中性語調："Anjali在清晰、近距離的環境中以高音調、正常語速說話。她的中性語調通過出色的音頻質量被捕捉到。"

📚 詳細文檔

評估

Indic Parler-TTS已經通過類似MOS的框架由母語和非母語使用者進行了評估。結果顯示，該模型在生成自然和清晰的語音方面表現出色，特別是對於印度語言的母語使用者。

關鍵優勢

• 對於母語使用者表現出色，邁蒂利語（95.36）、梵語（99.79） 和 博多語（94.47） 得分最高。
• 對於資源較少和非官方支持的語言，如 克什米爾語（55.30） 和 信德語（76.46），也取得了有競爭力的結果。
• 適應非母語和匿名說話者場景，始終保持高清晰度。

動機

Parler-TTS是對Dan Lyth和Simon King分別來自Stability AI和愛丁堡大學的論文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations 中工作的復現。

Parler-TTS發佈時還附帶了以下資源：

• The Parler-TTS repository - 你可以在其中訓練和微調自己的模型版本。
• The Data-Speech repository - 一套用於標註語音數據集的實用腳本。
• The Parler-TTS organization - 你可以在其中找到標註的數據集以及未來的模型檢查點。

訓練數據集

描述

該模型在內部的 Indic-Parler-Dataset 上進行訓練，這是一個大規模的多語言語音語料庫，旨在訓練 Indic Parler-TTS預訓練模型。它全面覆蓋了24種語言，包括印度的所有22種官方語言以及恰蒂斯加爾語和英語，對於專注於該次大陸的語音技術來說是非常寶貴的資源。

關鍵統計信息

覆蓋語言

該數據集支持印度的 22種官方語言 以及英語和恰蒂斯加爾語，對於區域語言技術來說非常全面。這些語言包括阿薩姆語、孟加拉語、博多語、恰蒂斯加爾語、多格里語、英語、古吉拉特語、印地語、卡納達語、克什米爾語、孔卡尼語、邁蒂利語、馬拉雅拉姆語、曼尼普爾語、馬拉地語、尼泊爾語、奧里亞語、旁遮普語、梵語、桑塔利語、信德語、泰米爾語、泰盧固語和烏爾都語。

按語言的數據細分

引用

如果你發現這個倉庫很有用，請考慮引用這項工作以及原始的Stability AI論文：

@misc{lacombe-etal-2024-indic-parler-tts,
  author = {Yoach Lacombe, Ashwin Sankar, Sherry Thomas, Praveen Srinivasa Varadhan, Sanchit Gandhi, Mitesh Khapra},
  title = {Indic Parler-TTS},
  year = {2024},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/ai4bharat/indic-parler-tts}}
}

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

📄 許可證

該模型遵循Apache 2.0許可證。

提示

• 我們已經設置了一個 推理指南 來加快生成速度。考慮使用SDPA、torch.compile、批處理和流式傳輸！
• 包含 "非常清晰的音頻" 一詞以生成最高質量的音頻，包含 "非常嘈雜的音頻" 以生成高背景噪音的音頻。
• 可以使用標點符號來控制生成語音的韻律，例如使用逗號在語音中添加小停頓。
• 其餘的語音特徵（性別、語速、音調、混響）可以直接通過提示進行控制。