Yarngpt2

🚀 YarnGPT2

YarnGPT2是一款文本轉語音（TTS）模型，它藉助純語言建模，無需外部適配器或複雜架構，就能合成帶有尼日利亞口音的語言（約魯巴語、伊博語、豪薩語和英語）。該模型能為各種應用提供高質量、自然且具有文化相關性的語音合成服務。

🚀 快速開始

模型使用示例（Colab）

該模型可以獨立生成音頻，但使用語音提示模型效果更佳：

可用語音（按性能和穩定性排序）

• 英語：idera, chinenye, jude, emma,umar,,joke,zainab ,osagie, remi, tayo
• 約魯巴語：yoruba_male2, yoruba_female2, yoruba_feamle1
• 伊博語：igbo_female2, igbo_male2,igbo_female1
• 豪薩語：hausa_feamle1,hausa_female2, hausa_male2,hausa_male1

提示YarnGPT2

!git clone https://github.com/saheedniyi02/yarngpt.git

pip install outetts uroman

import os
import re
import json
import torch
import inflect
import random
import uroman as ur
import numpy as np
import torchaudio
import IPython
from transformers import AutoModelForCausalLM, AutoTokenizer
from outetts.wav_tokenizer.decoder import WavTokenizer


!wget https://huggingface.co/novateur/WavTokenizer-medium-speech-75token/resolve/main/wavtokenizer_mediumdata_frame75_3s_nq1_code4096_dim512_kmeans200_attn.yaml
!gdown 1-ASeEkrn4HY49yZWHTASgfGFNXdVnLTt


from yarngpt.audiotokenizer import AudioTokenizerV2

tokenizer_path="saheedniyi/YarnGPT2"
wav_tokenizer_config_path="/content/wavtokenizer_mediumdata_frame75_3s_nq1_code4096_dim512_kmeans200_attn.yaml"
wav_tokenizer_model_path = "/content/wavtokenizer_large_speech_320_24k.ckpt"


audio_tokenizer=AudioTokenizerV2(
    tokenizer_path,wav_tokenizer_model_path,wav_tokenizer_config_path
    )


model = AutoModelForCausalLM.from_pretrained(tokenizer_path,torch_dtype="auto").to(audio_tokenizer.device)

#change the text
text="The election was won by businessman and politician, Moshood Abiola, but Babangida annulled the results, citing concerns over national security."

# change the language and voice
prompt=audio_tokenizer.create_prompt(text,lang="english",speaker_name="idera")

input_ids=audio_tokenizer.tokenize_prompt(prompt)

output  = model.generate(
            input_ids=input_ids,
            temperature=0.1,
            repetition_penalty=1.1,
            max_length=4000,
            #num_beams=5,# using a beam size helps for the local languages but not english
        )

codes=audio_tokenizer.get_codes(output)
audio=audio_tokenizer.get_audio(codes)
IPython.display.Audio(audio,rate=24000)
torchaudio.save(f"Sample.wav", audio, sample_rate=24000)

✨ 主要特性

• 能夠合成帶有尼日利亞口音的多種語言（約魯巴語、伊博語、豪薩語和英語）。
• 採用純語言建模，無需外部適配器或複雜架構，提供高質量、自然且具文化相關性的語音合成。

📚 詳細文檔

模型描述

• 開發者：Saheedniyi
• 模型類型：文本轉語音
• 語言（NLP）：英語 --> 尼日利亞口音英語
• 微調基礎模型：HuggingFaceTB/SmolLM2-360M
• 代碼倉庫：YarnGPT Github Repository
• 論文：正在撰寫中。
• 演示：
  1. Prompt YarnGPT2 notebook
  2. Simple news reader

用途

用於實驗性地生成帶有尼日利亞口音的英語語音。

適用範圍外的使用

該模型不適用於生成除英語外其他語言或其他口音的語音。

偏差、風險和侷限性

該模型可能無法涵蓋尼日利亞口音的全部多樣性，並且可能會因訓練數據集而表現出偏差。此外，模型訓練所使用的大量文本是自動生成的，這可能會影響性能。

建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。鼓勵提供反饋和多樣化的訓練數據。

語音樣本

聆聽YarnGPT生成的語音樣本：

訓練

數據

在公開可用的尼日利亞電影、播客（使用字幕 - 音頻對）以及Huggingface上與尼日利亞相關的開源音頻數據集上進行訓練。

預處理

音頻文件經過預處理並重新採樣到24Khz，並使用 wavtokenizer 進行標記化。

訓練超參數

• 訓練輪數：5
• 批次大小：4
• 調度器：線性調度，前4個輪次進行預熱，最後一個輪次線性衰減至零
• 優化器：AdamW (betas=(0.9, 0.95), weight_decay=0.01)
• 學習率：1*10^-3

硬件

• GPU：1個A100（Google Colab：50小時）

軟件

• 訓練框架：Pytorch

未來改進方向

• 擴大模型規模並增加人工標註/審核的訓練數據。
• 將模型封裝成API端點。
• 實現語音克隆。
• 有可能擴展為語音到語音的助手模型。

引用（可選）

BibTeX:

@misc{yarngpt2025,
  author = {Saheed Azeez},
  title = {YarnGPT: Nigerian-Accented English Text-to-Speech Model},
  year = {2025},
  publisher = {Hugging Face},
  url = {https://huggingface.co/SaheedAzeez/yarngpt}
}

APA:

Saheed Azeez. (2025). YarnGPT: Nigerian-Accented English Text-to-Speech Model. Hugging Face. Available at: https://huggingface.co/saheedniyi/YarnGPT

致謝與參考

• OuteAI/OuteTTS-0.2-500M
• WavTokenizer
• CTC Forced Alignment
• Voicera

📄 許可證

本項目採用Apache-2.0許可證。