Yarngpt2

🚀 YarnGPT2

YarnGPT2是一款文本转语音（TTS）模型，它借助纯语言建模，无需外部适配器或复杂架构，就能合成带有尼日利亚口音的语言（约鲁巴语、伊博语、豪萨语和英语）。该模型能为各种应用提供高质量、自然且具有文化相关性的语音合成服务。

🚀 快速开始

模型使用示例（Colab）

该模型可以独立生成音频，但使用语音提示模型效果更佳：

可用语音（按性能和稳定性排序）

• 英语：idera, chinenye, jude, emma,umar,,joke,zainab ,osagie, remi, tayo
• 约鲁巴语：yoruba_male2, yoruba_female2, yoruba_feamle1
• 伊博语：igbo_female2, igbo_male2,igbo_female1
• 豪萨语：hausa_feamle1,hausa_female2, hausa_male2,hausa_male1

提示YarnGPT2

!git clone https://github.com/saheedniyi02/yarngpt.git

pip install outetts uroman

import os
import re
import json
import torch
import inflect
import random
import uroman as ur
import numpy as np
import torchaudio
import IPython
from transformers import AutoModelForCausalLM, AutoTokenizer
from outetts.wav_tokenizer.decoder import WavTokenizer


!wget https://huggingface.co/novateur/WavTokenizer-medium-speech-75token/resolve/main/wavtokenizer_mediumdata_frame75_3s_nq1_code4096_dim512_kmeans200_attn.yaml
!gdown 1-ASeEkrn4HY49yZWHTASgfGFNXdVnLTt


from yarngpt.audiotokenizer import AudioTokenizerV2

tokenizer_path="saheedniyi/YarnGPT2"
wav_tokenizer_config_path="/content/wavtokenizer_mediumdata_frame75_3s_nq1_code4096_dim512_kmeans200_attn.yaml"
wav_tokenizer_model_path = "/content/wavtokenizer_large_speech_320_24k.ckpt"


audio_tokenizer=AudioTokenizerV2(
    tokenizer_path,wav_tokenizer_model_path,wav_tokenizer_config_path
    )


model = AutoModelForCausalLM.from_pretrained(tokenizer_path,torch_dtype="auto").to(audio_tokenizer.device)

#change the text
text="The election was won by businessman and politician, Moshood Abiola, but Babangida annulled the results, citing concerns over national security."

# change the language and voice
prompt=audio_tokenizer.create_prompt(text,lang="english",speaker_name="idera")

input_ids=audio_tokenizer.tokenize_prompt(prompt)

output  = model.generate(
            input_ids=input_ids,
            temperature=0.1,
            repetition_penalty=1.1,
            max_length=4000,
            #num_beams=5,# using a beam size helps for the local languages but not english
        )

codes=audio_tokenizer.get_codes(output)
audio=audio_tokenizer.get_audio(codes)
IPython.display.Audio(audio,rate=24000)
torchaudio.save(f"Sample.wav", audio, sample_rate=24000)

✨ 主要特性

• 能够合成带有尼日利亚口音的多种语言（约鲁巴语、伊博语、豪萨语和英语）。
• 采用纯语言建模，无需外部适配器或复杂架构，提供高质量、自然且具文化相关性的语音合成。

📚 详细文档

模型描述

• 开发者：Saheedniyi
• 模型类型：文本转语音
• 语言（NLP）：英语 --> 尼日利亚口音英语
• 微调基础模型：HuggingFaceTB/SmolLM2-360M
• 代码仓库：YarnGPT Github Repository
• 论文：正在撰写中。
• 演示：
  1. Prompt YarnGPT2 notebook
  2. Simple news reader

用途

用于实验性地生成带有尼日利亚口音的英语语音。

适用范围外的使用

该模型不适用于生成除英语外其他语言或其他口音的语音。

偏差、风险和局限性

该模型可能无法涵盖尼日利亚口音的全部多样性，并且可能会因训练数据集而表现出偏差。此外，模型训练所使用的大量文本是自动生成的，这可能会影响性能。

建议

用户（直接用户和下游用户）应了解该模型的风险、偏差和局限性。鼓励提供反馈和多样化的训练数据。

语音样本

聆听YarnGPT生成的语音样本：

训练

数据

在公开可用的尼日利亚电影、播客（使用字幕 - 音频对）以及Huggingface上与尼日利亚相关的开源音频数据集上进行训练。

预处理

音频文件经过预处理并重新采样到24Khz，并使用 wavtokenizer 进行标记化。

训练超参数

• 训练轮数：5
• 批次大小：4
• 调度器：线性调度，前4个轮次进行预热，最后一个轮次线性衰减至零
• 优化器：AdamW (betas=(0.9, 0.95), weight_decay=0.01)
• 学习率：1*10^-3

硬件

• GPU：1个A100（Google Colab：50小时）

软件

• 训练框架：Pytorch

未来改进方向

• 扩大模型规模并增加人工标注/审核的训练数据。
• 将模型封装成API端点。
• 实现语音克隆。
• 有可能扩展为语音到语音的助手模型。

引用（可选）

BibTeX:

@misc{yarngpt2025,
  author = {Saheed Azeez},
  title = {YarnGPT: Nigerian-Accented English Text-to-Speech Model},
  year = {2025},
  publisher = {Hugging Face},
  url = {https://huggingface.co/SaheedAzeez/yarngpt}
}

APA:

Saheed Azeez. (2025). YarnGPT: Nigerian-Accented English Text-to-Speech Model. Hugging Face. Available at: https://huggingface.co/saheedniyi/YarnGPT

致谢与参考

• OuteAI/OuteTTS-0.2-500M
• WavTokenizer
• CTC Forced Alignment
• Voicera

📄 许可证

本项目采用Apache-2.0许可证。