Turkish Finetuned Speecht5 Tts

🚀 トルコ語でファインチューニングされたSpeechT5 TTSモデル

このレポートは、IIT Roorkee PARIMALインターンプログラムから与えられたタスクとして作成されました。レビュー目的のみを意図しており、実際の研究プロジェクトや本番環境で使用可能なモデルを表すものではありません。

🚀 クイックスタート

このプロジェクトは、MicrosoftのSpeechT5 TTSモデルをトルコ語合成用にファインチューニングすることに焦点を当てています。これにより、高品質な多言語音声合成システムの需要に応えることができます。

✨ 主な機能

• トルコ語用にファインチューニングされたSpeechT5 TTSモデル
• 損失指標の大幅な削減
• パフォーマンスを最適化しながら高品質を維持

📚 ドキュメント

はじめに

テキスト-to-スピーチ（TTS）合成は、アクセシビリティツールからバーチャルアシスタントまで、様々なアプリケーションを可能にする重要な技術となっています。このプロジェクトでは、MicrosoftのSpeechT5 TTSモデルをトルコ語合成用にファインチューニングし、高品質な多言語音声合成システムの需要に応えます。

デモ

デモリンク

トレーニングコード

GitHubリポジトリ

主要なアプリケーション

• 視覚障害者向けのアクセシビリティツール
• 教育プラットフォームや言語学習アプリケーション
• バーチャルアシスタントや自動化されたカスタマーサービスシステム
• 公共交通機関のアナウンスやナビゲーションシステム
• コンテンツ作成やメディアのローカライズ

方法論

モデル選択

以下の理由から、microsoft/speecht5_ttsをベースモデルとして選択しました。

• 堅牢な多言語機能
• 様々な音声合成タスクでの高いパフォーマンス
• 活発なコミュニティサポートとドキュメント
• ファインチューニングの柔軟性

データセットの準備

トレーニングプロセスでは、erenfazlioglu/turkishvoicedatasetというトルコ語の音声データセットを使用しました。このデータセットは以下の特徴を持っています。

• ネイティブのトルコ語話者による高品質な音声録音
• 多様な音韻カバレッジ
• クリーンな文字起こしとアライメント
• バランスの取れた性別表現
• 様々な話し方のスタイルと抑揚パターン

ファインチューニングプロセス

モデルは以下のハイパーパラメータを使用してファインチューニングされました。

• 学習率: 0.0001
• トレーニングバッチサイズ: 4 (勾配累積で32)
• 勾配累積ステップ: 8
• トレーニングステップ: 600
• ウォームアップステップ: 100
• オプティマイザ: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学習率スケジューラ: ウォームアップ付きの線形スケジューラ

結果

客観的評価

モデルはトレーニングプロセスを通じて一貫した改善を示しました。

1. 初期検証損失: 0.4231
2. 最終検証損失: 0.3155
3. トレーニング損失の削減: 0.5156から0.3425

トレーニングの進捗

主観的評価

• ネイティブのトルコ語話者による平均意見スコア（MOS）テスト
• 自然性と理解性の評価
• ベースラインモデルのパフォーマンスとの比較
• 抑揚と強調の評価

課題と解決策

データセットの課題

1. 高品質なトルコ語音声データの入手可能性が限られている
   • 解決策: 慎重な前処理を行って既存のデータを拡張
2. 音韻カバレッジのギャップ
   • 解決策: ターゲットとなる録音を追加

技術的な課題

1. トレーニングの安定性の問題
   • 解決策: 勾配累積とウォームアップステップを実装
2. メモリ制約
   • 解決策: バッチサイズを最適化し、混合精度トレーニングを実装
3. 推論速度の最適化
   • 解決策: モデルの量子化とバッチ処理を実装

最適化結果

推論の最適化

• モデルの量子化により、推論速度を30%向上
• 品質を最小限の劣化で維持
• 大量生成のためのバッチ処理を実装
• 効率的なキャッシュによるメモリ使用の最適化

環境と依存関係

• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Datasets: 3.0.1
• Tokenizers: 0.19.1

まとめ

主な成果

1. SpeechT5をトルコ語TTS用に成功裏にファインチューニング
2. 損失指標を大幅に削減
3. パフォーマンスを最適化しながら高品質を維持

将来的な改善点

1. より多様な話者を含むデータセットを拡張
2. 感情とスタイルの転送機能を実装
3. 推論速度をさらに最適化
4. マルチスピーカー適応を探索
5. クロス言語転移学習を調査

推奨事項

1. 拡張されたデータセットで定期的にモデルを再トレーニング
2. 継続的な評価パイプラインを実装
3. トルコ語の特徴に合わせた特殊な前処理を開発
4. 自動品質評価ツールを統合

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、LICENSEファイルを参照してください。

謝辞

• ベースとなるSpeechT5モデルを提供してくれたMicrosoft
• トルコ語音声データセットの貢献者
• オープンソースの音声処理コミュニティ