Kimi Audio 7B

🚀 Kimi-Audio

Kimi-Audio是一個開源的音頻基礎模型，在音頻理解、生成和對話方面表現出色。它能在單一統一的框架內處理各種音頻處理任務。

🚀 快速開始

你可以通過以下鏈接訪問相關資源：

• 🤗 Kimi-Audio-7B
• 🤗 Kimi-Audio-7B-Instruct
• 📑 論文

🤗 Kimi-Audio-7B | 🤗 Kimi-Audio-7B-Instruct | 📑 論文

✨ 主要特性

• 通用能力：能夠處理多種任務，如語音識別（ASR）、音頻問答（AQA）、音頻字幕（AAC）、語音情感識別（SER）、聲音事件/場景分類（SEC/ASC）以及端到端語音對話。
• 先進性能：在眾多音頻基準測試中取得了最先進的成果（詳見我們的技術報告）。
• 大規模預訓練：在超過1300萬小時的多樣化音頻數據（語音、音樂、聲音）和文本數據上進行了預訓練。
• 新穎架構：採用混合音頻輸入（連續聲學 + 離散語義標記），並使用帶有並行頭的大語言模型（LLM）核心來生成文本和音頻標記。
• 高效推理：基於流匹配的分塊流式去標記器，實現低延遲音頻生成。

⚠️ 重要提示

Kimi-Audio-7B是一個未經微調的基礎模型，因此不能直接使用。不過，該基礎模型非常靈活，你可以在任何可能的下游任務上對其進行微調。

如果你正在尋找一個開箱即用的模型，請參考Kimi-Audio-7B-Instruct。

📚 詳細文檔

更多詳細信息，請參考我們的GitHub倉庫和技術報告。

📄 許可證

該模型基於Qwen 2.5 - 7B進行修改。源自Qwen2.5 - 7B的代碼遵循Apache 2.0許可證，代碼的其他部分遵循MIT許可證。

📖 引用

如果你在研究或應用中發現Kimi-Audio很有用，請引用我們的技術報告：

@misc{kimi_audio_2024,
      title={Kimi-Audio Technical Report},
      author={Kimi Team},
      year={2024},
      eprint={arXiv:placeholder},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}