Csm 1b

🚀 CSM 1B

CSM（对话语音模型）是由 Sesame 推出的语音生成模型，它能够根据文本和音频输入生成 RVQ 音频代码。该模型架构采用了 Llama 主干网络和一个较小的音频解码器，可生成 Mimi 音频代码。

🚀 快速开始

2025/03/13 - 我们发布了 1B 版本的 CSM 变体。代码可在 GitHub 上获取：SesameAILabs/csm。

✨ 主要特性

• 基于 Llama 架构，具有强大的语言理解能力。
• 能够根据文本和音频输入生成高质量的音频代码。
• 微调后的变体为 交互式语音演示 提供支持。
• 提供托管的 HuggingFace 空间 用于测试音频生成。

📦 安装指南

git clone git@github.com:SesameAILabs/csm.git
cd csm
python3.10 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# 你需要访问 sesame/csm-1b 和 meta-llama/Llama-3.2-1B
huggingface-cli login

💻 使用示例

基础用法

from generator import load_csm_1b
import torchaudio

generator = load_csm_1b(device="cuda")

audio = generator.generate(
    text="Hello from Sesame.",
    speaker=0,
    context=[],
    max_audio_length_ms=10_000,
)

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)

高级用法

CSM 在提供上下文时效果最佳。你可以使用 Segment 为每个说话者的话语向模型提供提示或上下文。

speakers = [0, 1, 0, 0]
transcripts = [
    "Hey how are you doing.",
    "Pretty good, pretty good.",
    "I'm great.",
    "So happy to be speaking to you.",
]
audio_paths = [
    "utterance_0.wav",
    "utterance_1.wav",
    "utterance_2.wav",
    "utterance_3.wav",
]

def load_audio(audio_path):
    audio_tensor, sample_rate = torchaudio.load(audio_path)
    audio_tensor = torchaudio.functional.resample(
        audio_tensor.squeeze(0), orig_freq=sample_rate, new_freq=generator.sample_rate
    )
    return audio_tensor

segments = [
    Segment(text=transcript, speaker=speaker, audio=load_audio(audio_path))
    for transcript, speaker, audio_path in zip(transcripts, speakers, audio_paths)
]
audio = generator.generate(
    text="Me too, this is some cool stuff huh?",
    speaker=1,
    context=segments,
    max_audio_length_ms=10_000,
)

torchaudio.save("audio.wav", audio.unsqueeze(0).cpu(), generator.sample_rate)

📚 详细文档

常见问题解答

• 这个模型自带语音吗？ 该开源模型是一个基础生成模型，它能够生成多种语音，但未针对任何特定语音进行微调。
• 我可以与模型对话吗？ CSM 是一个音频生成模型，而非通用的多模态大语言模型，它不能生成文本。我们建议使用单独的大语言模型进行文本生成。
• 它支持其他语言吗？ 由于训练数据中存在数据污染，该模型对非英语语言有一定的处理能力，但效果可能不佳。

⚠️ 重要提示

本项目提供了一个高质量的语音生成模型，仅供研究和教育使用。虽然我们鼓励负责任和合乎道德的使用，但我们 明确禁止 以下行为：

• 冒充或欺诈：未经他人明确同意，不得使用此模型生成模仿真实个人的语音。
• 虚假信息或欺骗：不得使用此模型创建欺骗性或误导性内容，如虚假新闻或欺诈性电话。
• 非法或有害活动：不得将此模型用于任何非法、有害或恶意目的。

使用此模型即表示你同意遵守所有适用的法律和道德准则。我们 不对任何滥用行为负责，并强烈谴责对该技术的不道德应用。

📄 许可证

本项目采用 Apache-2.0 许可证。

👥 作者

Johan Schalkwyk、Ankit Kumar、Dan Lyth、Sefik Emre Eskimez、Zack Hodari、Cinjon Resnick、Ramon Sanabria、Raven Jiang 以及 Sesame 团队。