Xm Transformer S2ut Hk En

🚀 xm_transformer_s2ut_hk-en

fairseqによるシングルパスデコーダ(S2UT)を備えた音声翻訳モデルです。

• 閩南語 - 英語
• TED、ドラマ、TATドメインの教師付きデータと、ドラマドメインの弱教師付きデータで学習されています。学習の詳細についてはこちらを参照してください。
• facebook/unit_hifigan_mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj_durを使用した音声合成
• プロジェクトページ

🚀 クイックスタート

この音声翻訳モデルを使うことで、閩南語の音声を英語の音声に翻訳することができます。

✨ 主な機能

• 閩南語から英語への音声翻訳
• 多様なドメインのデータで学習された高精度モデル
• 高度な音声合成機能

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import json
import os
from pathlib import Path

import IPython.display as ipd
from fairseq import hub_utils
from fairseq.checkpoint_utils import load_model_ensemble_and_task_from_hf_hub
from fairseq.models.speech_to_text.hub_interface import S2THubInterface
from fairseq.models.text_to_speech import CodeHiFiGANVocoder
from fairseq.models.text_to_speech.hub_interface import VocoderHubInterface

from huggingface_hub import snapshot_download
import torchaudio

cache_dir = os.getenv("HUGGINGFACE_HUB_CACHE")

models, cfg, task = load_model_ensemble_and_task_from_hf_hub(
    "facebook/xm_transformer_s2ut_hk-en",
    arg_overrides={"config_yaml": "config.yaml", "task": "speech_to_text"},
    cache_dir=cache_dir,
)
#model = models[0].cpu()
#cfg["task"].cpu = True
generator = task.build_generator([model], cfg)


# requires 16000Hz mono channel audio
audio, _ = torchaudio.load("/path/to/an/audio/file")

sample = S2THubInterface.get_model_input(task, audio)
unit = S2THubInterface.get_prediction(task, model, generator, sample)

# speech synthesis           
library_name = "fairseq"
cache_dir = (
    cache_dir or (Path.home() / ".cache" / library_name).as_posix()
)
cache_dir = snapshot_download(
    f"facebook/unit_hifigan_mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj_dur", cache_dir=cache_dir, library_name=library_name
)

x = hub_utils.from_pretrained(
    cache_dir,
    "model.pt",
    ".",
    archive_map=CodeHiFiGANVocoder.hub_models(),
    config_yaml="config.json",
    fp16=False,
    is_vocoder=True,
)

with open(f"{x['args']['data']}/config.json") as f:
    vocoder_cfg = json.load(f)
assert (
    len(x["args"]["model_path"]) == 1
), "Too many vocoder models in the input"

vocoder = CodeHiFiGANVocoder(x["args"]["model_path"][0], vocoder_cfg)
tts_model = VocoderHubInterface(vocoder_cfg, vocoder)

tts_sample = tts_model.get_model_input(unit)
wav, sr = tts_model.get_prediction(tts_sample)

ipd.Audio(wav, rate=sr)

高度な使用法

このREADMEには高度な使用法の説明が記載されていないため、このサブセクションをスキップします。

📚 ドキュメント

このREADMEには詳細な説明が記載されていないため、このセクションをスキップします。

🔧 技術詳細

このREADMEには技術的な詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このプロジェクトはCC BY-NC 4.0ライセンスの下で公開されています。