Hubert Base Korean

🚀 hubert-base-korean

HubertはFacebookが提案した音声表現学習モデルで、既存の音声認識モデルとは異なり、音声信号を生波形から直接学習する自己教師付き学習方式を採用しています。この研究はGoogleのTPU Research Cloud(TRC)を通じて支援を受けたCloud TPUで学習されました。

🚀 クイックスタート

このセクションでは、hubert-base-koreanモデルを使用するための基本的な手順を説明します。

Pytorch

import torch
from transformers import HubertModel

model = HubertModel.from_pretrained("team-lucid/hubert-base-korean")

wav = torch.ones(1, 16000)
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

JAX/Flax

import jax.numpy as jnp
from transformers import FlaxAutoModel

model = FlaxAutoModel.from_pretrained("team-lucid/hubert-base-korean", trust_remote_code=True)

wav = jnp.ones((1, 16000))
outputs = model(wav)
print(f"Input:   {wav.shape}")  # [1, 16000]
print(f"Output:  {outputs.last_hidden_state.shape}")  # [1, 49, 768]

✨ 主な機能

Hubert(Hidden-Unit BERT)は、Facebookが提案した音声表現学習モデルです。既存の音声認識モデルとは異なり、音声信号を生波形から直接学習する自己教師付き学習方式を使用しています。

📚 ドキュメント

モデルの説明

モデルの詳細構成

学習の詳細

学習データ

このモデルは、科学技術情報通信部の資金で韓国知能情報社会振興院の支援を受けて構築された自由対話音声(一般男女)、多話者音声合成データ、放送コンテンツ対話体音声認識データから約4,000時間を抽出して学習されました。

学習手順

元論文と同様に、MFCCベースでBaseモデルを学習した後、500クラスターでk-meansを実行して、再度BaseとLargeモデルを学習しました。

学習ハイパーパラメータ

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。