Kokorotts

🚀 ココロ (Kokoro)

ココロ (Kokoro) は、8200万のパラメータを持つオープンウェイトのテキスト・トゥ・スピーチ（TTS）モデルです。軽量なアーキテクチャでありながら、大規模なモデルと同等の品質を提供し、大幅に高速でコスト効率も高いです。Apacheライセンスのウェイトを持つため、本番環境から個人プロジェクトまで、どこでもデプロイできます。

⬆️ ココロ (Kokoro) はv1.0にアップグレードされました！ リリースを参照してください。

🚀 ノーコードデモ: https://hf.co/spaces/hexgrad/Kokoro-TTS

✨ 現在、pip install kokoro でインストールできます！使用方法を参照してください。

• リリース
• 使用方法
• EVAL.md ↗️
• SAMPLES.md ↗️
• VOICES.md ↗️
• モデルの詳細
• 学習の詳細
• クリエイティブ・コモンズの帰属表示
• 謝辞

🚀 クイックスタート

ココロ (Kokoro) をすぐに使い始めるには、ノーコードデモを試してみることができます。また、pip を使ってインストールし、コードから直接利用することもできます。

✨ 主な機能

• 軽量なアーキテクチャで、大規模モデルと同等の品質を提供。
• 高速でコスト効率が高い。
• Apacheライセンスのウェイトで、自由にデプロイできる。
• 複数の言語に対応。

📦 インストール

pip install kokoro を実行することで、推論ライブラリをインストールできます。

以下は、Google Colab上でのインストール例です。

# 1️⃣ Install kokoro
!pip install -q kokoro>=0.8.2 soundfile
# 2️⃣ Install espeak, used for English OOD fallback and some non-English languages
!apt-get -qq -y install espeak-ng > /dev/null 2>&1

💻 使用例

基本的な使用法

# 3️⃣ Initalize a pipeline
from kokoro import KPipeline
from IPython.display import display, Audio
import soundfile as sf
# 🇺🇸 'a' => American English, 🇬🇧 'b' => British English
# 🇯🇵 'j' => Japanese: pip install misaki[ja]
# 🇨🇳 'z' => Mandarin Chinese: pip install misaki[zh]
pipeline = KPipeline(lang_code='a') # <= make sure lang_code matches voice

# This text is for demonstration purposes only, unseen during training
text = '''
The sky above the port was the color of television, tuned to a dead channel.
"It's not like I'm using," Case heard someone say, as he shouldered his way through the crowd around the door of the Chat. "It's like my body's developed this massive drug deficiency."
It was a Sprawl voice and a Sprawl joke. The Chatsubo was a bar for professional expatriates; you could drink there for a week and never hear two words in Japanese.

These were to have an enormous impact, not only because they were associated with Constantine, but also because, as in so many other areas, the decisions taken by Constantine (or in his name) were to have great significance for centuries to come. One of the main issues was the shape that Christian churches were to take, since there was not, apparently, a tradition of monumental church buildings when Constantine decided to help the Christian church build a series of truly spectacular structures. The main form that these churches took was that of the basilica, a multipurpose rectangular structure, based ultimately on the earlier Greek stoa, which could be found in most of the great cities of the empire. Christianity, unlike classical polytheism, needed a large interior space for the celebration of its religious services, and the basilica aptly filled that need. We naturally do not know the degree to which the emperor was involved in the design of new churches, but it is tempting to connect this with the secular basilica that Constantine completed in the Roman forum (the so-called Basilica of Maxentius) and the one he probably built in Trier, in connection with his residence in the city at a time when he was still caesar.

[Kokoro](/kˈOkəɹO/) is an open-weight TTS model with 82 million parameters. Despite its lightweight architecture, it delivers comparable quality to larger models while being significantly faster and more cost-efficient. With Apache-licensed weights, [Kokoro](/kˈOkəɹO/) can be deployed anywhere from production environments to personal projects.
'''
# text = '「もしおれがただ偶然、そしてこうしようというつもりでなくここに立っているのなら、ちょっとばかり絶望するところだな」と、そんなことが彼の頭に思い浮かんだ。'
# text = '中國人民不信邪也不怕邪，不惹事也不怕事，任何外國不要指望我們會拿自己的核心利益做交易，不要指望我們會吞下損害我國主權、安全、發展利益的苦果！'
# text = 'Los partidos políticos tradicionales compiten con los populismos y los movimientos asamblearios.'
# text = 'Le dromadaire resplendissant déambulait tranquillement dans les méandres en mastiquant de petites feuilles vernissées.'
# text = 'ट्रांसपोर्टरों की हड़ताल लगातार पांचवें दिन जारी, दिसंबर से इलेक्ट्रॉनिक टोल कलेक्शनल सिस्टम'
# text = "Allora cominciava l'insonnia, o un dormiveglia peggiore dell'insonnia, che talvolta assumeva i caratteri dell'incubo."
# text = 'Elabora relatórios de acompanhamento cronológico para as diferentes unidades do Departamento que propõem contratos.'

# 4️⃣ Generate, display, and save audio files in a loop.
generator = pipeline(
    text, voice='af_heart', # <= change voice here
    speed=1, split_pattern=r'\n+'
)
for i, (gs, ps, audio) in enumerate(generator):
    print(i)  # i => index
    print(gs) # gs => graphemes/text
    print(ps) # ps => phonemes
    display(Audio(data=audio, rate=24000, autoplay=i==0))
    sf.write(f'{i}.wav', audio, 24000) # save each audio file

📚 ドキュメント

リリース

モデルの詳細

学習の詳細

データ: ココロ (Kokoro) は、許容的/著作権のない音声データとIPA音素ラベルのみを使って学習されました。許容的/著作権のない音声の例としては、以下のようなものがあります。

• パブリックドメインの音声
• Apache、MITなどのライセンスの音声
• 大手プロバイダーのクローズド^[2] TTSモデルによって生成された合成音声^[1]
  [1] https://copyright.gov/ai/ai_policy_guidance.pdf
  [2] オープンTTSモデルや「カスタムボイスクローン」からの合成音声は使用されていません。

総データセットサイズ: 数百時間の音声

総学習コスト: A100 80GB vRAMを1000時間使用して、約$1000

クリエイティブ・コモンズの帰属表示

以下のCC BY音声は、ココロ (Kokoro) v1.0の学習に使用されたデータセットの一部です。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。

謝辞

• 🛠️ @yl4579 には、StyleTTS 2の設計に貢献してくれたことを感謝します。
• 🏆 @Pendrokar には、ココロ (Kokoro) をTTS Spaces Arenaの競争相手として追加してくれたことを感謝します。
• 📊 合成学習データを提供してくれた皆さんに感謝します。
• ❤️ すべてのコンピューティングのスポンサーに特別な感謝を送ります。
• 👾 Discordサーバー: https://discord.gg/QuGxSWBfQy
• 🪽 ココロ (Kokoro) は、日本語で「心」または「精神」を意味する言葉です。また、ターミネーターシリーズのAI の名前でもあります。