Csm Expressiva 1b

🚀 csm-experssiva

このプロジェクトは、CSM(Conversational Speech Model) を Expresso の4番目のささやき声で実験的にSFTファインチューニングしたものです。csm-mlx リポジトリのSFT LoRAチューニングがうまく機能するかを素早く確認するために作成されました。

🚀 クイックスタート

このモデルはMacBook Air M2 16GBで重いスワップを使用してトレーニングされ、0:43:47 の時間がかかりました。

✨ 主な機能

• 小規模なSFTにより、CSMベースモデルの失敗ケース（無限の沈黙など）がある程度軽減されます。
  • 時々まだ失敗することがありますが、SFTチューニング前よりもはるかに少なくなります。
• 小規模なSFTでも、声をきれいに再現することができます。
• 量子化すると、はるかに安定するようです！（これは このPR で最初に報告されました！）

📦 インストール

本READMEにはインストール手順に関する具体的な内容がありませんので、このセクションは省略されました。

💻 使用例

基本的な使用法

from mlx_lm.sample_utils import make_sampler
from huggingface_hub import hf_hub_download
from csm_mlx import CSM, csm_1b, generate

import audiofile
import numpy as np

csm = CSM(csm_1b())
weight = hf_hub_download(repo_id="senstella/csm-expressiva-1b", filename="mlx-ckpt.safetensors") # Here's the difference!
csm.load_weights(weight)

audio = generate(
    csm,
    text="Hello from Sesame.",
    speaker=4, # And this is another difference - please use 4 regardless of where you're inferencing!
    context=[],
    max_audio_length_ms=20_000,
    sampler=make_sampler(temp=0.8, top_k=50)
)

audiofile.write("./audio.wav", np.asarray(audio), 24000)

🔧 技術詳細

ハイパーパラメータ

今後の計画

csm-mlx でKTOを実装し、そのアプローチを使ってモデルの失敗ケースをさらに軽減する予定です。

📄 ライセンス

このモデルはExpressoデータセットからトレーニングされているため、ライセンスはExpressoデータセットの cc-by-nc-4.0 に従います。

注意事項

⚠️ 重要提示

推論時には speaker_id を4に設定してください。これはモデルがトレーニングされた設定です。

⚠️ 重要提示

このモデルは、CSM - 1bモデルがささやきスタイルの声の特徴を効果的に圧縮および再構築する緊急能力を示すかどうかを調査するためにファインチューニングされました。これは、従来のTTSモデルでは通常見られないものです。また、csm - mlxのトレーニングセットアップとその損失関数の正しさの予備的な検証としても機能します。このモデルの不適切な使用を私は決して支持または奨励しません。意図しない関連付けや解釈は、このモデルの意図を反映していません。