Hubert Base Korean

🚀 hubert-base-korean

Hubert-base-korean是用于自动语音识别的模型，基于Facebook提出的Hubert架构，采用自监督学习方式直接从原始波形学习语音信号，在韩语语音处理方面表现出色。

🚀 快速开始

Pytorch

import torch
from transformers import HubertModel

model = HubertModel.from_pretrained("team-lucid/hubert-base-korean")

wav = torch.ones(1, 16000)
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

JAX/Flax

import jax.numpy as jnp
from transformers import FlaxAutoModel

model = FlaxAutoModel.from_pretrained("team-lucid/hubert-base-korean", trust_remote_code=True)

wav = jnp.ones((1, 16000))
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

✨ 主要特性

Hubert（Hidden-Unit BERT）是Facebook提出的语音表征学习模型。与传统的语音识别模型不同，Hubert采用自监督学习方法，直接从原始波形中学习语音信号。该研究使用由谷歌的TPU Research Cloud（TRC）支持的Cloud TPU进行训练。

📚 详细文档

模型描述

训练详情

训练数据

该模型使用了由韩国科学技术信息通信部资助、韩国智能信息社会促进机构支持构建的数据集进行训练，包括自由对话语音（普通男女）、多说话人语音合成数据和广播内容对话体语音识别数据，共约4000小时的数据。

训练过程

与原论文相同，先基于MFCC训练Base模型，然后使用500个聚类进行k-means操作，再重新训练Base和Large模型。

训练超参数

📄 许可证

本项目采用Apache-2.0许可证。