Hubert Large Korean

🚀 hubert-large-korean

Hubert-large-korean是一个用于自动语音识别的模型，基于Hubert架构，能直接从语音信号的原始波形进行自监督学习，在韩语语音处理方面表现出色。

🚀 快速开始

Pytorch

import torch
from transformers import HubertModel

model = HubertModel.from_pretrained("team-lucid/hubert-large-korean")

wav = torch.ones(1, 16000)
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

JAX/Flax

import jax.numpy as jnp
from transformers import FlaxAutoModel

model = FlaxAutoModel.from_pretrained("team-lucid/hubert-large-korean", trust_remote_code=True)

wav = jnp.ones((1, 16000))
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

✨ 主要特性

Hubert（Hidden-Unit BERT）是Facebook提出的语音表征学习模型。与传统语音识别模型不同，Hubert采用自监督学习方式，直接从语音信号的原始波形进行学习。该研究使用谷歌的TPU Research Cloud（TRC）提供支持的Cloud TPU进行训练。

📚 详细文档

模型描述

🔧 技术细节

训练数据

该模型使用了由韩国科学技术信息通信部资助、韩国智能信息社会发展研究所支持构建的数据集进行训练，包括自由对话语音（普通男女）、多说话人语音合成数据和广播内容对话式语音识别数据，从中提取了约4000小时的数据进行训练。

训练过程

与原论文相同，先基于MFCC训练Base模型，然后使用500个聚类进行k-means操作，再重新训练Base和Large模型。

训练超参数

📄 许可证

本项目采用Apache-2.0许可证。