Reazonspeech Nemo V2

🚀 reazonspeech-nemo-v2

reazonspeech-nemo-v2是一个自动语音识别模型，它基于ReazonSpeech v2.0语料库进行训练。该模型支持对长达数小时的日语长音频片段进行推理。

🚀 快速开始

reazonspeech-nemo-v2可用于对日语长音频进行自动语音识别。你可以通过以下方式使用该模型。

✨ 主要特性

• 基于改进的Conformer架构，参考自Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition。
• 基于子词的RNN - T模型，总参数数量为6.19亿。
• 编码器使用Longformer注意力机制，局部上下文大小为256，并具有单个全局令牌。
• 解码器拥有由SentencePiece单字分词器构建的3000个令牌的词汇空间。
• 使用AdamW优化器按照Noam退火调度训练了100万步。

💻 使用示例

基础用法

# 从指定路径加载音频文件
from reazonspeech.nemo.asr import load_model, transcribe, audio_from_path

audio = audio_from_path("speech.wav")
model = load_model()
ret = transcribe(model, audio)
print(ret.text)

高级用法

暂未提供高级用法示例，你可以持续关注项目更新。

📚 详细文档

模型架构

• 架构改进：模型采用了改进的Conformer架构，该架构的灵感来源于论文Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition。
• 模型类型：基于子词的RNN - T模型，总参数数量达到6.19亿。
• 编码器：使用Longformer注意力机制，局部上下文大小设定为256，并且有单个全局令牌。
• 解码器：其词汇空间包含3000个令牌，这些令牌由SentencePiece单字分词器构建而成。
• 训练过程：使用AdamW优化器按照Noam退火调度对模型进行了100万步的训练。

推荐使用方式

建议通过reazonspeech库来使用此模型。

📄 许可证

本项目采用Apaceh Licence 2.0许可协议。