Ja Cascaded S2t Translation

🚀 カスケード型日本語音声テキスト翻訳

このパイプラインは、カスケード方式に基づき、日本語の音声を任意の目的言語のテキストに変換する音声テキスト翻訳パイプラインです。この方式は、自動音声認識（ASR）と翻訳の2つのステップから構成されています。 パイプラインは、ASR（日本語音声 -> 日本語テキスト）にはkotoba-tech/kotoba-whisper-v2.0 を、テキスト翻訳には facebook/nllb-200-3.3B を使用しています。 入力は日本語の音声である必要があり、翻訳先はNLLBが学習した任意の言語にできます。利用可能なすべての言語とその言語コードは、こちら を参照してください。

英語の音声翻訳用のモデルは en-cascaded-s2t-translation で利用できます。

🚀 クイックスタート

このパイプラインを使えば、日本語の音声を任意の目的言語のテキストに翻訳できます。以下に使用方法の例を示します。

✨ 主な機能

• カスケード方式による高精度な音声テキスト翻訳
• NLLBを用いた多言語翻訳対応

📦 インストール

このパイプラインは transformers ライブラリを使用しています。transformers がインストールされていない場合は、以下のコマンドでインストールしてください。

pip install transformers

💻 使用例

基本的な使用法

以下は、日本語の音声を英語のテキストに翻訳する例です。 まず、サンプル音声をダウンロードします。

wget https://huggingface.co/datasets/japanese-asr/ja_asr.jsut_basic5000/resolve/main/sample.flac -O sample_ja.flac

次に、以下のようにパイプラインを実行します。

from transformers import pipeline

# load model
pipe = pipeline(
    model="japanese-asr/ja-cascaded-s2t-translation",
    model_kwargs={"attn_implementation": "sdpa"},
    model_translation="facebook/nllb-200-distilled-600M",
    tgt_lang="eng_Latn",
    chunk_length_s=15,
    trust_remote_code=True,
)

# translate
output = pipe("./sample_ja.flac")

高度な使用法

他のNLLBモデルを使用する場合は、model_translation を設定することができます。例えば以下のように設定できます。

• facebook/nllb-200-3.3B
• facebook/nllb-200-distilled-600M
• facebook/nllb-200-distilled-1.3B
• facebook/nllb-200-1.3B

📚 ドキュメント

ベンチマーク

以下の表は、日本語の音声を英語のテキストに翻訳するタスク（CoVoST2 と Fleurs のサブセット）において、異なるサイズのNLLBモデルとOpenAI Whisperモデルを使用した場合の単語誤り率（WER）を示しています。

評価の詳細については、https://github.com/kotoba-tech/kotoba-whisper を参照してください。

推論速度

カスケード方式の性質上、このパイプラインは単一のエンドツーエンドのOpenAI Whisperモデルと比較して、高精度を実現するために追加の複雑さがあります。 以下の表は、異なる長さの音声サンプルに対して10回の試行で平均した推論時間（秒）を示しています。

🔧 技術詳細

このパイプラインは、カスケード方式を用いており、ASRと翻訳の2つのステップから構成されています。ASRには kotoba-tech/kotoba-whisper-v2.0 を、翻訳には facebook/nllb-200-3.3B を使用しています。

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスの下で公開されています。