Ja Cascaded S2t Translation

🚀 級聯式日語語音轉文本翻譯

這是一個基於級聯方法的語音到文本翻譯管道，可將日語語音翻譯成任何目標語言的文本，該方法由自動語音識別（ASR）和翻譯兩部分組成。此管道使用 kotoba-tech/kotoba-whisper-v2.0 進行自動語音識別（將日語語音轉換為日語文本），並使用 facebook/nllb-200-3.3B 進行文本翻譯。輸入必須是日語語音，而翻譯可以是 NLLB 訓練過的任何語言。請在此處查找所有可用語言及其語言代碼。

用於英語語音翻譯的模型可在 en-cascaded-s2t-translation 找到。

✨ 主要特性

• 採用級聯方法，結合自動語音識別和文本翻譯，實現日語語音到多語言文本的翻譯。
• 支持多種 NLLB 模型進行文本翻譯，可根據需求靈活選擇。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

以下是將日語語音翻譯成英語文本的示例。首先，下載一個示例語音文件：

wget https://huggingface.co/datasets/japanese-asr/ja_asr.jsut_basic5000/resolve/main/sample.flac -O sample_ja.flac

然後，按如下方式運行管道：

from transformers import pipeline

# 加載模型
pipe = pipeline(
    model="japanese-asr/ja-cascaded-s2t-translation",
    model_kwargs={"attn_implementation": "sdpa"},
    model_translation="facebook/nllb-200-distilled-600M",
    tgt_lang="eng_Latn",
    chunk_length_s=15,
    trust_remote_code=True,
)

# 進行翻譯
output = pipe("./sample_ja.flac")

高級用法

可以通過設置 model_translation 使用其他 NLLB 模型，例如：

• facebook/nllb-200-3.3B
• facebook/nllb-200-distilled-600M
• facebook/nllb-200-distilled-1.3B
• facebook/nllb-200-1.3B

📚 詳細文檔

基準測試

下表展示了在將日語語音翻譯成英語文本任務中，針對不同大小的 NLLB 模型以及 OpenAI Whisper 模型，基於參考翻譯和預測翻譯計算得到的字錯誤率（WER）。該任務使用了 CoVoST2 和 Fleurs 的子集。

評估詳情請見 https://github.com/kotoba-tech/kotoba-whisper。

推理速度

由於級聯方法的特性，為了保證高準確性，該管道與單端到端的 OpenAI Whisper 模型相比，具有額外的複雜性。下表展示了在不同時長的音頻樣本上，經過 10 次試驗平均得到的平均推理時間（秒）。

🔧 技術細節

文檔未提供相關技術細節，故跳過此章節。

📄 許可證

本項目使用的許可證為 Apache-2.0。