Speecht5 TTS Haitian

🚀 ハイチ・クレオール語向けFine-tuned SpeechT5 TTSモデル

このモデルは、ハイチ・クレオール語向けにmicrosoft/speecht5-ttsをfine-tuningしたバージョンです。CMUハイチデータセットを使用してfine-tuningされています。

🚀 クイックスタート

このモデルは、ハイチ・クレオール語のテキストを音声に変換するために使用できます。以下のセクションで詳細な情報を提供します。

✨ 主な機能

• ハイチ・クレオール語の入力テキストを対応する音声に変換することができます。
• 音声ブックのナレーションやボイスアシスタントなどのアプリケーションに使用できます。

📚 ドキュメント

モデルの説明

このモデルは、テキストから音声へのタスクに特化して設計されたT5（Text-to-Text Transfer Transformer）モデルのバリアントであるSpeechT5アーキテクチャに基づいています。ハイチ・クレオール語の入力テキストを対応する音声に変換することができます。

想定される用途と制限

このモデルは、ハイチ・クレオール語のテキストから音声への変換（TTS）アプリケーションに使用することを想定しています。書面のテキストから音声を生成するために使用でき、音声ブックのナレーションやボイスアシスタントなどのアプリケーションを可能にします。

ただし、いくつかの制限に注意する必要があります。

• モデルの性能は、学習データの品質と多様性に大きく依存します。より多様で特定のデータセットでfine-tuningすることで、性能が向上する可能性があります。
• すべての機械学習モデルと同様に、このモデルは音声合成において不正確さやエラーを生じる可能性があります。特に複雑な文やドメイン固有の専門用語に対しては、その可能性が高くなります。

学習と評価データ

このモデルは、ハイチ・クレオール語のテキストと対応する音声サンプルを含むCMUハイチデータセットを使用してfine-tuningされました。データセットは学習セットと評価セットに分割され、モデルの性能を評価しました。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 1e-05
• per_device_train_batch_size: 16
• gradient_accumulation_steps: 2
• warmup_steps: 500
• max_steps: 4000
• gradient_checkpointing: True
• fp16: True
• evaluation_strategy: no
• per_device_eval_batch_size: 8
• save_steps: 1000
• logging_steps: 25
• report_to: ["tensorboard"]
• greater_is_better: False

学習結果

学習の進捗と評価結果は以下の通りです。

学習出力

学習は以下の出力で完了しました。

• グローバルステップ: 4000
• 学習損失: 0.3344
• 学習実行時間: 7123.63秒
• 学習サンプル数/秒: 17.97
• 学習ステップ数/秒: 0.562
• 総FLOPs: 1.1690e+16

フレームワークのバージョン

• Transformers 4.31.0
• PyTorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3

🔧 技術詳細

このモデルは、SpeechT5アーキテクチャに基づいており、T5モデルをテキストから音声へのタスクに適用したものです。CMUハイチデータセットを使用してfine-tuningされ、ハイチ・クレオール語のテキストを音声に変換する能力を獲得しました。学習ハイパーパラメータや学習結果などの詳細な情報は、上記のセクションで提供されています。