Teochew Whisper Medium

🚀 潮州語Whisper Medium

このモデルは、中国南部で話される閩南語系の言語である潮州語（潮州話）を認識するために、Whisper mediumモデルをファインチューニングしたバージョンです。

このモデルの学習方法に関する詳細なドキュメントは、このビデオを参照してください：https://www.youtube.com/watch?v=JH_78KmP4Zk

✨ 主な機能

このモデルは、潮州語の音声を認識するために特化してファインチューニングされています。

📦 インストール

このモデルを使用するには、以下のライブラリが必要です。

import torch
import torchaudio
from transformers import WhisperProcessor, WhisperForConditionalGeneration
import gradio as gr

💻 使用例

基本的な使用法

以下のスクリプトは、モデルをダウンロードし、Gradioを使用してモデルを実行するデモを開始します。

import torch
import torchaudio
from transformers import WhisperProcessor, WhisperForConditionalGeneration
import gradio as gr

DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")
WHISPER_SAMPLE_RATE = 16000

processor = WhisperProcessor.from_pretrained("openai/whisper-medium")
model = WhisperForConditionalGeneration.from_pretrained(
    "efficient-nlp/teochew-whisper-medium"
).to(DEVICE)


def preprocess_audio(audio_path: str) -> torch.Tensor:
    audio, sample_rate = torchaudio.load(audio_path)
    # Resample if necessary
    if sample_rate != WHISPER_SAMPLE_RATE:
        resampler = torchaudio.transforms.Resample(
            orig_freq=sample_rate, new_freq=WHISPER_SAMPLE_RATE
        )
        audio = resampler(audio)
    # Convert to mono
    if audio.shape[0] > 1:
        audio = torch.mean(audio, dim=0)
    return audio.squeeze()


def transcribe(audio_path: str) -> str:
    audio_input = preprocess_audio(audio_path)
    input_features = processor(
        audio_input,
        sampling_rate=WHISPER_SAMPLE_RATE,
        return_tensors="pt",
        language="Chinese",
    ).input_features.to(DEVICE)

    predicted_ids = model.generate(input_features)
    transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
    return transcription


iface = gr.Interface(
    fn=transcribe,
    inputs=gr.Audio(type="filepath"),
    outputs="text",
    title="Teochew Speech Recognition",
)
iface.launch()

📚 ドキュメント

学習データ

このモデルは、潮州語の映画、テレビ番組、コメディから取得した約35時間の音声データでファインチューニングされました。

評価指標

私たちのプライベートなテストセットでは、以下の単語誤り率（WER）指標が得られました。

• 丁寧な発話: 0.31
• 会話的な発話: 0.68

既知の制限事項

このモデルは短い音声クリップで学習されており、10秒以上の音声に対しては性能が低下する可能性があります。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。