XTTS V2 C3PO

🚀 ⓍTTS_v2 - C-3PO 微調整音声モデル (Borcherding/XTTS-v2_C3PO)

このモデルは、コード、創造性、ユーモアが融合したアート作品です。仮想のギャラリーで、C-3POの皮肉な発言が響き渡る世界を想像してみてください。

🚀 クイックスタート

このモデルは、C-3POの20種類のユニークな音声ラインを利用して微調整されたⓍTTSモデルです。音声ラインはVoicyから取得されています。

ⓍTTS_v2 - C-3PO 微調整モデルのサンプルを聴いてみましょう:

トレーニングデータからのC-3POのmp3音声ラインクリップを聴いてみましょう:

✨ 主な機能

• 🎙️ 音声クローニング: 短い音声クリップでリアルな音声クローニングが可能です。
• 🌍 多言語対応: 17種類の異なる言語で音声を生成し、C-3POの独特な声を維持します。
• 😃 感情とスタイルの転送: 元の音声の感情的なトーンとスタイルを捉えます。
• 🔄 異言語間クローニング: 異なる言語間で独特な音声特性を維持します。
• 🎧 高品質オーディオ: 24kHzのサンプリングレートで出力され、明瞭で高音質のオーディオが得られます。

📚 ドキュメント

サポート言語

このモデルは以下の17種類の言語をサポートしています: 英語 (en)、スペイン語 (es)、フランス語 (fr)、ドイツ語 (de)、イタリア語 (it)、ポルトガル語 (pt)、ポーランド語 (pl)、トルコ語 (tr)、ロシア語 (ru)、オランダ語 (nl)、チェコ語 (cs)、アラビア語 (ar)、中国語 (zh-cn)、日本語 (ja)、ハンガリー語 (hu)、韓国語 (ko)、ヒンディー語 (hi)。

Roll Cageでの使用方法

🤖💬 このOllamaアドオンでAI体験を向上させましょう！リアルタイムの音声 🎙️ とテキスト 🔍 チャット、LaTeXレンダリング 📜、エージェント自動化 ⚙️、ワークフロー 🔄、テキストから画像 📝➡️🖼️、画像からテキスト 🖼️➡️🔤、画像からビデオ 🖼️➡️🎥 の変換が楽しめます。テキスト 📝、音声 🗣️、画像 🖼️ の生成を微調整できます。Windowsマクロコントロール 🖥️ とDuckDuckGo検索も含まれています。

ollama_agent_roll_cage (OARC) は、Ollamaコマンドラインインターフェース用の完全にローカルなPythonとCMDのツールセットアドオンです。OARCツールセットはエージェントの作成を自動化し、ユーザーが出力をよりコントロールできるようにします。各./ModelfileにSYSTEMプロンプトテンプレートを提供し、ユーザーがカスタムエージェントを迅速に設計およびデプロイできるようにします。ユーザーは、希望するシステムプロンプトでエージェント構築に使用するローカルモデルファイルを選択できます。

なぜRoll Cageにこのモデルを使用するのか

C-3POの微調整モデルは、Roll Cageチャットボット用に設計され、ユーザーとの対話を親しみやすく愛される声で強化します。C-3POの独特な発話パターンとトーンを取り入れることで、Roll Cageはより魅力的で楽しいものになります。多言語サポートと感情転送の追加により、チャットボットは異なる言語やコンテキストで効果的かつ表現力豊かにコミュニケーションでき、ユーザーにより没入感のある体験を提供します。

CoquiTTSとリソース

• 🐸💬 idiap/CoquiTTS: GitHub上のCoqui TTS
• 👩‍💻 daswer123/xtts-finetune-webui 👩‍💻: xtts-finetune-webui
• 📚 ドキュメント: ReadTheDocs
• 👩‍💻 質問: GitHub Discussions
• 🗯 コミュニティ: Discord

💻 使用例

基本的な使用法

🐸TTS APIを使用する場合

from TTS.api import TTS

tts = TTS(model_path="D:/CodingGit_StorageHDD/Ollama_Custom_Mods/ollama_agent_roll_cage/AgentFiles/Ignored_TTS/XTTS-v2_C3PO/", 
          config_path="D:/CodingGit_StorageHDD/Ollama_Custom_Mods/ollama_agent_roll_cage/AgentFiles/Ignored_TTS/XTTS-v2_C3PO/config.json", progress_bar=False, gpu=True).to(self.device)

# generate speech by cloning a voice using default settings
tts.tts_to_file(text="It took me quite a long time to develop a voice, and now that I have it I'm not going to be silent.",
                file_path="output.wav",
                speaker_wav="/path/to/target/speaker.wav",
                language="en")

🐸TTSコマンドラインを使用する場合

 tts --model_name tts_models/multilingual/multi-dataset/xtts_v2 \
     --text "Bugün okula gitmek istemiyorum." \
     --speaker_wav /path/to/target/speaker.wav \
     --language_idx tr \
     --use_cuda true

モデルを直接使用する場合

from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts

config = XttsConfig()
config.load_json("/path/to/xtts/config.json")
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir="/path/to/xtts/", eval=True)
model.cuda()

outputs = model.synthesize(
    "It took me quite a long time to develop a voice and now that I have it I am not going to be silent.",
    config,
    speaker_wav="/data/TTS-public/_refclips/3.wav",
    gpt_cond_len=3,
    language="en",
)

📄 ライセンス

このモデルは Coqui Public Model License の下でライセンスされています。CPMLの起源について詳しくはこちらをご覧ください。

お問い合わせ

🐸コミュニティにDiscordで参加し、Twitterでフォローしてください。お問い合わせは info@coqui.ai までメールを送ってください。