Asr Whisper Large V3 Salt

🚀 Whisper large for Ugandan languages

このモデルは、ウガンダで広く話されている以下の言語に対応した whisper-large-v3 の適応版です。 ルガンダ語、アチョリ語、ルグバラ語、アテソ語、ルニャンコレ語、ルトゥーロ語、ルマサバ語、スワヒリ語、ルソガ語、キニヤルワンダ語、英語（ウガンダ方言）です。

✨ 主な機能

このモデルは、ウガンダで広く話されている複数の言語に対応しており、自動的に言語を検出して文字起こしを行うことができます。

📦 インストール

このドキュメントにはインストール手順が記載されていないため、このセクションをスキップします。

📚 ドキュメント

トレーニング

このモデルは、SALT データセット、Common Voice（ルガンダ語、スワヒリ語、キニヤルワンダ語）、Google FLEURS、Makerere Yogera データセットを使用してトレーニングされました。 実際の設定での汎化能力を向上させるために、トレーニングではランダムノイズの追加と 8kHz へのランダムダウンサンプリングを使用して、電話音声をシミュレートしました。 ウガンダの都市部からサンプリングされた路上雑音を追加して、頑健性を向上させました。

性能指標

SALT テキスト、Common Voice（スワヒリ語、キニヤルワンダ語）および Yogera（ルトゥーロ語、ルソガ語）のホールドアウト分割で評価されました。

💻 使用例

基本的な使用法

import transformers
import datasets
import torch

processor = transformers.WhisperProcessor.from_pretrained(
    "Sunbird/asr-whisper-large-v3-salt")
model = transformers.WhisperForConditionalGeneration.from_pretrained(
    "Sunbird/asr-whisper-large-v3-salt")

SALT_LANGUAGE_TOKENS_WHISPER = {
    'eng': 50259,  # English (Ugandan)
    'swa': 50318,  # Swahili
    'ach': 50357,  # Acholi
    'lgg': 50356,  # Lugbara
    'lug': 50355,  # Luganda
    'nyn': 50354,  # Runyankole
    'teo': 50353,  # Ateso
    'xog': 50352,  # Lusoga
    'ttj': 50351,  # Rutooro
    'kin': 50350,  # Kinyarwanda
    'myx': 50349,  # Lumasaba
}

# Get some test audio
ds = datasets.load_dataset('Sunbird/salt', 'multispeaker-lug', split='test')
audio = ds[0]['audio']
sample_rate = ds[0]['sample_rate']

# Specify a language from one of the above.
lang = 'lug'

# Apply the model
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
input_features = processor(
    audio, sampling_rate=sample_rate, return_tensors="pt").input_features
input_features = input_features.to(device)
predicted_ids = model.to(device).generate(
    input_features,
    # Optionally set language=None here instead to auto-detect.
    language=processor.tokenizer.decode(SALT_LANGUAGE_TOKENS_WHISPER[lang]),
    forced_decoder_ids=None)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

print(transcription)
# Ekikoola kya kasooli kya kyenvu wabula langi yaakyo etera okuba eya kitaka wansi.

高度な使用法

このドキュメントには高度な使用法に関する記載がないため、このサブセクションをスキップします。

🔧 技術詳細

このドキュメントには技術的な詳細が十分に記載されていないため、このセクションをスキップします。

📄 ライセンス

このドキュメントにはライセンス情報が記載されていないため、このセクションをスキップします。