Aurora 1.6b

🚀 Aurora-1.6B: 多言語感情と歌唱TTSモデル

Dia-1.6Bを多言語と歌唱データセットでファインチューニングしたバージョンで、完全な感情制御とゼロショット音声クローニングが可能です。

🚀 クイックスタート

このセクションでは、Aurora-1.6Bモデルの基本的な使用方法を説明します。以下のコード例を参考に、モデルをロードし、音声を生成して保存しましょう。

from dia.model import Dia
import soundfile as sf

# Load the Aurora-1.6B model
model = Dia.from_pretrained("Lorenzob/aurora-1.6b")

# Generate a happy spoken line followed by singing
text = "[S1][happy] Hello world! Now sing 'Happy Birthday to You'"
audio = model.generate(text)

# Save output at 44.1 kHz
sf.write("output.wav", audio, 44100)

✨ 主な機能

• 多言語対応
  イタリア語、英語、ポーランド語、ドイツ語、フランス語などで自然な音声を生成します。
• 感情制御
  話者タグや感情トークン（例: [S1], [happy], [sad]）を使用して、表現力を調整します。
• 歌唱機能
  歌唱プロンプトやスタイル参照を提供することで、メロディーのあるボーカルを生成します。
• ゼロショット音声クローニング
  短い音声サンプルから任意の話者の声をクローニングします。
• 非言語的発声
  (laughs), (coughs), (sighs) などのリアルなエフェクトをインラインで埋め込みます。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。