Kimi Audio 7B

🚀 Kimi-Audio

Kimi-Audio是一个开源的音频基础模型，在音频理解、生成和对话方面表现出色。它能在单一统一的框架内处理各种音频处理任务。

🚀 快速开始

你可以通过以下链接访问相关资源：

• 🤗 Kimi-Audio-7B
• 🤗 Kimi-Audio-7B-Instruct
• 📑 论文

🤗 Kimi-Audio-7B | 🤗 Kimi-Audio-7B-Instruct | 📑 论文

✨ 主要特性

• 通用能力：能够处理多种任务，如语音识别（ASR）、音频问答（AQA）、音频字幕（AAC）、语音情感识别（SER）、声音事件/场景分类（SEC/ASC）以及端到端语音对话。
• 先进性能：在众多音频基准测试中取得了最先进的成果（详见我们的技术报告）。
• 大规模预训练：在超过1300万小时的多样化音频数据（语音、音乐、声音）和文本数据上进行了预训练。
• 新颖架构：采用混合音频输入（连续声学 + 离散语义标记），并使用带有并行头的大语言模型（LLM）核心来生成文本和音频标记。
• 高效推理：基于流匹配的分块流式去标记器，实现低延迟音频生成。

⚠️ 重要提示

Kimi-Audio-7B是一个未经微调的基础模型，因此不能直接使用。不过，该基础模型非常灵活，你可以在任何可能的下游任务上对其进行微调。

如果你正在寻找一个开箱即用的模型，请参考Kimi-Audio-7B-Instruct。

📚 详细文档

更多详细信息，请参考我们的GitHub仓库和技术报告。

📄 许可证

该模型基于Qwen 2.5 - 7B进行修改。源自Qwen2.5 - 7B的代码遵循Apache 2.0许可证，代码的其他部分遵循MIT许可证。

📖 引用

如果你在研究或应用中发现Kimi-Audio很有用，请引用我们的技术报告：

@misc{kimi_audio_2024,
      title={Kimi-Audio Technical Report},
      author={Kimi Team},
      year={2024},
      eprint={arXiv:placeholder},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}