SIMS 7B

🚀 交錯式語音 - 文本語言模型的規模分析

本項目聚焦於交錯式語音 - 文本語言模型的規模分析，旨在解決現有語音語言模型（SLM）在訓練時計算資源和數據需求大的問題，為高效訓練高質量 SLM 提供新的思路和方法。

🚀 快速開始

若你想了解該模型的完整使用說明，請參考官方倉庫：github。

✨ 主要特性

• 本模型在論文 Scaling Analysis of Interleaved Speech-Text Language Models 中被提出，通過對交錯式語音 - 文本 SLM 進行規模分析，發現其在計算資源利用上更為高效。
• 該模型是一個語音語言模型（SLM），可根據語音 - 文本提示，在離散的 Hubert 標記 上生成語音或文本續接內容。

📚 詳細文檔

論文摘要

現有的語音語言模型（SLM）規模分析結果並不樂觀。它們預測，與文本模型相比，SLM 需要更多的計算資源和數據，這使得一些人對訓練高質量 SLM 的可行性產生了質疑。然而，現代 SLM 通常從預訓練的文本語言模型（TextLM）初始化，採用語音 - 文本交錯的方式實現知識遷移。這就引出了一個問題：交錯式 SLM 的規模擴展是否比無文本 SLM 更高效？ 在本文中，我們給出了肯定的答案！我們通過訓練幾十個模型並分析其規模擴展趨勢，對交錯式 SLM 進行了規模分析。我們發現，在這種設置下，SLM 在計算資源利用上更為高效。此外，我們的結果表明，其規模擴展動態與無文本 SLM 顯著不同，這意味著在增加模型大小時，應分配更多的計算預算，而不是增加訓練標記。我們還研究了合成數據和 TextLM 模型家族在挖掘這種潛力方面的作用。結果表明，我們的擴展模型在語音語義指標上與領先模型表現相當，同時比其他方法使用更少的計算資源和數據。

模型詳情

模型描述

這個語音語言模型在論文 "Scaling Analysis of Interleaved Speech-Text Language Models" 中被引入，專注於交錯式語音 - 文本 SLM 的規模分析。它是從 [Qwen/Qwen2.5 - 7B](https://huggingface.co/Qwen/Qwen2.5 - 7B) 微調而來，通過擴展其詞彙表，加入了從 mhubert - 25hz 的第 11 層提取的 500 個語音標記。

模型來源

• 倉庫：https://github.com/slp-rl/slamkit
• 論文：https://arxiv.org/abs/2504.02398
• 演示：https://pages.cs.huji.ac.il/adiyoss-lab/sims/

使用場景

這個基礎語音語言模型可用於為語音片段生成續接內容，或進行跨模態任務，例如根據語音提示生成文本續接內容，也可作為進一步微調的基礎。有關更多使用細節，請參閱 SlamKit 代碼庫，並查看 演示頁面 獲取一些生成示例。

適用範圍外使用

該模型在多種語音數據集上進行訓練，因此其輸出不應被視為事實信息。

訓練詳情

我們強烈建議用戶閱讀完整的 論文 以獲取完整的訓練細節。

計算基礎設施

硬件

該模型使用 8 個英偉達 H100 GPU 進行訓練。

軟件

該模型使用 SlamKit 代碼庫進行訓練，該代碼庫基於 🤗transformers 構建，擴展了其對語音語言模型的簡單高效訓練支持。

📄 許可證

本項目採用 MIT 許可證。

🔖 引用

BibTeX：

@misc{maimon2025scaling,
      title={Scaling Analysis of Interleaved Speech-Text Language Models}, 
      author={Gallil Maimon and Michael Hassid and Amit Roth and Yossi Adi},
      year={2025},
      eprint={2504.02398},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.02398}, 
}