Wav2vec2 Xls R 300m Zh HK Lm V2

🚀 Wav2Vec2 XLS-R 300M 粵語 (zh-HK) LM

Wav2Vec2 XLS-R 300M 粵語 (zh-HK) LMは、XLS-Rアーキテクチャに基づく自動音声認識モデルです。このモデルは、Common Voiceデータセットのzh-HKサブセットでWav2Vec2-XLS-R-300Mをファインチューニングしたバージョンです。その後、複数のPyCantoneseコーパスで学習させた5-gram言語モデルがこのモデルに追加されました。

このモデルはHuggingFaceのPyTorchフレームワークを使用して学習され、HuggingFaceが主催するRobust Speech Challenge Eventの一部です。すべての学習は、OVHが提供するTesla V100で行われました。

学習に使用されたすべての必要なスクリプトは、Files and versionsタブに、またTensorboardを介して記録された学習メトリクスはそれに対応する場所に見つけることができます。

N-gram言語モデルの学習に関しては、HuggingFaceが提供するブログ記事のチュートリアルに従いました。

🚀 クイックスタート

このモデルは、自動音声認識タスクに使用できます。まずは、必要なライブラリをインストールし、モデルをロードして使用しましょう。

✨ 主な機能

• XLS-Rアーキテクチャに基づく高精度な自動音声認識。
• Common Voiceデータセットのzh-HKサブセットでファインチューニングされている。
• 5-gram言語モデルを追加することで、認識精度を向上させる。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、必要なライブラリをインストールしましょう。

pip install transformers datasets torch

💻 使用例

基本的な使用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
import torch
from datasets import load_dataset
import soundfile as sf

# モデルとプロセッサーをロード
processor = Wav2Vec2Processor.from_pretrained("w11wo/wav2vec2-xls-r-300m-zh-HK-lm-v2")
model = Wav2Vec2ForCTC.from_pretrained("w11wo/wav2vec2-xls-r-300m-zh-HK-lm-v2")

# 音声ファイルを読み込む
def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch

# データセットをロード
dataset = load_dataset("common_voice", "zh-HK", split="test[:2%]")
dataset = dataset.map(map_to_array)

# 音声を入力としてモデルに渡す
input_values = processor(dataset["speech"][0], return_tensors="pt").input_values
logits = model(input_values).logits

# 予測結果を取得
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.decode(predicted_ids[0])

print("Transcription:", transcription)

📚 ドキュメント

モデル

評価結果

言語モデルを使用しない場合の評価結果は次の通りです。

言語モデルを追加した場合の評価結果は次の通りです。

学習手順

学習プロセスには言語モデルの追加は含まれていません。以下の結果は、元の自動音声認識モデル学習からそのまま引用したものです。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは次の通りです。

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam (betas=(0.9, 0.999)、epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 100.0
• mixed_precision_training: Native AMP

学習結果

免責事項

事前学習データセットに由来するバイアスが、このモデルの結果に引き継がれる可能性があることを考慮してください。

作成者

Wav2Vec2 XLS-R 300M 粵語 (zh-HK) LMは、Wilson Wongsoによって学習および評価されました。すべての計算と開発は、OVH Cloudで行われました。

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。