Hubert Large Korean

🚀 hubert-large-korean

Hubert-large-koreanは自動音声認識に使用されるモデルです。Hubertアーキテクチャに基づいており、音声信号の生波形から直接自己教師付き学習を行うことができ、韓国語の音声処理において優れた性能を発揮します。

🚀 クイックスタート

Pytorch

import torch
from transformers import HubertModel

model = HubertModel.from_pretrained("team-lucid/hubert-large-korean")

wav = torch.ones(1, 16000)
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

JAX/Flax

import jax.numpy as jnp
from transformers import FlaxAutoModel

model = FlaxAutoModel.from_pretrained("team-lucid/hubert-large-korean", trust_remote_code=True)

wav = jnp.ones((1, 16000))
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

✨ 主な機能

Hubert（Hidden-Unit BERT）はFacebookによって提案された音声表現学習モデルです。従来の音声認識モデルとは異なり、Hubertは自己教師付き学習方式を採用し、音声信号の生波形から直接学習を行います。この研究では、GoogleのTPU Research Cloud（TRC）によってサポートされるCloud TPUを使用して訓練を行っています。

📚 ドキュメント

モデルの説明

🔧 技術詳細

訓練データ

このモデルは、韓国科学技術情報通信部の助成を受け、韓国知能情報社会発展研究所の支援を得て構築されたデータセットを使用して訓練されています。これには、自由会話音声（一般男女）、多話者音声合成データ、放送内容対話型音声認識データが含まれ、これらから約4000時間のデータを抽出して訓練に使用しています。

訓練過程

原論文と同様に、まずMFCCに基づいてBaseモデルを訓練し、次に500個のクラスタを使用してk-means操作を行い、その後BaseとLargeモデルを再訓練します。

訓練ハイパーパラメータ

📄 ライセンス

このプロジェクトはApache-2.0ライセンスを採用しています。