Wav2vec2 Large Xlsr Mvc Swahili

🚀 wav2vec2-large-xlsr-mvc-swahili

このモデルは、facebook/wav2vec2-large-xlsr-53をファインチューニングしたバージョンです。音声認識タスクに特化しており、特定のデータセットを用いて性能を向上させています。

🚀 クイックスタート

モデルの使用方法

語彙に関する問題があり、トレーニング時に特殊文字が考慮されていない可能性があります。以下のコードを使ってモデルを使用できます。

from transformers import AutoProcessor, AutoModelForCTC

repo_name = "eddiegulay/wav2vec2-large-xlsr-mvc-swahili"
processor = AutoProcessor.from_pretrained(repo_name)
model = AutoModelForCTC.from_pretrained(repo_name)

# if you have GPU
# move model to CUDA
model = model.to("cuda")


def transcribe(audio_path):
  # Load the audio file
  audio_input, sample_rate = torchaudio.load(audio_path)
  target_sample_rate = 16000
  audio_input = torchaudio.transforms.Resample(orig_freq=sample_rate, new_freq=target_sample_rate)(audio_input)

  # Preprocess the audio data
  input_dict = processor(audio_input[0], return_tensors="pt", padding=True, sampling_rate=16000)

  # Perform inference and transcribe
  logits = model(input_dict.input_values.to("cuda")).logits
  pred_ids = torch.argmax(logits, dim=-1)[0]
  transcription = processor.decode(pred_ids)

  return transcription

transcript = transcribe('your_audio.mp3')

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📚 ドキュメント

モデル情報

モデルの評価結果

• タスク：自動音声認識 (Automatic Speech Recognition)
• データセット：common_voice_13_0 (swコンフィギュレーションのテストデータ)
• 評価指標：Wer (値: 0.2)