Csm 1b

🚀 CSM 1B (Safetensors)

CSM 1B (Safetensors) 是一個語音生成模型，可根據文本和音頻輸入生成 RVQ 音頻代碼。它轉換自原始版本，採用 Safetensors FP16 格式，具有更新的配置和指向無門控 Llama 的代碼。

🚀 快速開始

模型介紹

CSM（Conversational Speech Model）是 Sesame 推出的語音生成模型，能從文本和音頻輸入中生成 RVQ 音頻代碼。該模型架構採用 Llama 主幹和一個較小的音頻解碼器，可生成 Mimi 音頻代碼。

版本信息

• Safetensors 格式：來自 此處，轉換自 原始版本 為 Safetensors FP16 格式，還會跟蹤下載情況。
• 發佈時間：2025/03/13 發佈 1B CSM 變體，代碼可在 GitHub 上獲取：SesameAILabs/csm。

相關資源

• 交互式語音演示：由 CSM 的微調變體驅動，可在 博客文章 中查看 交互式語音演示。
• HuggingFace 空間：可用於測試音頻生成，地址為 HuggingFace space。

📦 安裝指南

git clone git@github.com:SesameAILabs/csm.git
cd csm
python3.10 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

💻 使用示例

基礎用法

from generator import load_csm_1b
import torchaudio

generator = load_csm_1b(device="cuda")
audio = generator.generate(
    text="Hello from Sesame.",
    speaker=0,
    context=[],
    max_audio_length_ms=10_000,
)

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)

高級用法

當為模型提供上下文時，CSM 的效果最佳。你可以使用 Segment 為每個說話者的話語提供提示或上下文。

speakers = [0, 1, 0, 0]
transcripts = [
    "Hey how are you doing.",
    "Pretty good, pretty good.",
    "I'm great.",
    "So happy to be speaking to you.",
]
audio_paths = [
    "utterance_0.wav",
    "utterance_1.wav",
    "utterance_2.wav",
    "utterance_3.wav",
]

def load_audio(audio_path):
    audio_tensor, sample_rate = torchaudio.load(audio_path)
    audio_tensor = torchaudio.functional.resample(
        audio_tensor.squeeze(0), orig_freq=sample_rate, new_freq=generator.sample_rate
    )
    return audio_tensor

segments = [
    Segment(text=transcript, speaker=speaker, audio=load_audio(audio_path))
    for transcript, speaker, audio_path in zip(transcripts, speakers, audio_paths)
]
audio = generator.generate(
    text="Me too, this is some cool stuff huh?",
    speaker=1,
    context=segments,
    max_audio_length_ms=10_000,
)

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)

📚 詳細文檔

常見問題解答

該模型是否自帶語音？

此處開源的模型是一個基礎生成模型，它能夠產生多種語音，但未針對任何特定語音進行微調。

我可以與該模型對話嗎？

CSM 是一個音頻生成模型，而非通用的多模態大語言模型，它不能生成文本。建議使用單獨的大語言模型進行文本生成。

它支持其他語言嗎？

由於訓練數據中存在數據汙染，該模型對非英語語言有一定的處理能力，但效果可能不佳。

濫用和誤用警告 ⚠️

本項目提供了一個高質量的語音生成模型，用於研究和教育目的。雖然我們鼓勵負責任和符合道德的使用，但我們明確禁止以下行為：

• 冒充或欺詐：未經真實個人明確同意，不得使用此模型生成模仿他們的語音。
• 虛假信息或欺騙：不得使用此模型創建欺騙性或誤導性內容，如虛假新聞或欺詐性電話。
• 非法或有害活動：不得將此模型用於任何非法、有害或惡意目的。

使用此模型即表示你同意遵守所有適用的法律和道德準則。我們不對任何濫用行為負責，並強烈譴責對該技術的不道德應用。

作者

Johan Schalkwyk、Ankit Kumar、Dan Lyth、Sefik Emre Eskimez、Zack Hodari、Cinjon Resnick、Ramon Sanabria、Raven Jiang 以及 Sesame 團隊。

📄 許可證

本項目採用 Apache-2.0 許可證。