Tango Full

🚀 TANGO: 指示付き拡散を用いたテキストから音声への変換

TANGO は、テキストから音声を生成する潜在拡散モデルです。 TANGO は、テキストプロンプトから、人の声、動物の鳴き声、自然音や人工音、そして音響効果を含むリアルな音声を生成することができます。テキストエンコーダとして凍結された指示調整済みの大規模言語モデル Flan - T5 を使用し、音声生成用の UNet ベースの拡散モデルを学習させています。客観的および主観的な指標の両方で、現在の最先端の音声生成モデルを上回っています。研究コミュニティ向けに、モデル、学習コード、推論コード、および事前学習済みのチェックポイントを公開しています。

📣 最近、Tango 2 をリリースしました。こちらからアクセスできます。

📣 TangoPromptBank で事前学習された Tango - Full をリリースしています。

🚀 クイックスタート

TANGO モデルをダウンロードし、テキストプロンプトから音声を生成します。

import IPython
import soundfile as sf
from tango import Tango

tango = Tango("declare-lab/tango-full-ft-audiocaps")

prompt = "An audience cheering and clapping"
audio = tango.generate(prompt)
sf.write(f"{prompt}.wav", audio, samplerate=16000)
IPython.display.Audio(data=audio, rate=16000)

An audience cheering and clapping.webm

モデルは自動的にダウンロードされ、キャッシュに保存されます。以降の実行では、キャッシュから直接モデルが読み込まれます。

generate 関数は、デフォルトで 100 ステップを使用して潜在拡散モデルからサンプリングします。より高品質な音声を生成するには、200 ステップを使用することをおすすめします。ただし、これは実行時間の増加を伴います。

prompt = "Rolling thunder with lightning strikes"
audio = tango.generate(prompt, steps=200)
IPython.display.Audio(data=audio, rate=16000)

Rolling thunder with lightning strikes.webm

テキストプロンプトのバッチに対して複数の音声サンプルを生成するには、generate_for_batch 関数を使用します。

prompts = [
    "A car engine revving",
    "A dog barks and rustles with some clicking",
    "Water flowing and trickling"
]
audios = tango.generate_for_batch(prompts, samples=2)

これにより、3 つのテキストプロンプトのそれぞれに対して 2 つのサンプルが生成されます。

✨ 主な機能

• TANGO は、テキストプロンプトから様々なリアルな音声を生成できます。
• 客観的および主観的な指標の両方で、現在の最先端の音声生成モデルを上回っています。

📦 インストール

コードはこちらから入手できます: https://github.com/declare-lab/tango

いくつかの TANGO 生成サンプルをこちらにアップロードしています: https://tango-web.github.io/

インストール、使用方法、および実験については、リポジトリ内の指示に従ってください。

📄 ライセンス

このプロジェクトは CC - BY - NC - SA 4.0 ライセンスの下で公開されています。