Slam Scaled

🚀 Slamming: 1日で1台のGPUで音声言語モデルを訓練する

このモデルは論文 Slamming: Training a Speech Language Model on One GPU in a Day で発表されました。本モデルは、1台の学術用GPUで24時間以内に高品質の音声言語モデル（SLM）を訓練する手法を提供します。

✨ 主な機能

• 1台のGPUで24時間以内に高品質の音声言語モデルを訓練できます。
• 訓練手法は計算資源が増えるにつれて良好にスケールし、少ない計算コストで最先端のSLMと同等の結果を得られます。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

論文の概要

私たちは、1台の学術用GPUで24時間以内に高品質の音声言語モデル（SLM）を訓練するレシピであるSlamを紹介します。これは、モデルの初期化とアーキテクチャ、合成訓練データ、合成データを用いた嗜好最適化、およびその他のすべての要素の調整に関する実証的な分析を通じて行われます。この訓練レシピは、より多くの計算資源を投入すると、計算コストのごく一部で主要なSLMと同等の結果を得ることができることを実証的に示しています。私たちは、これらの知見がSLMの訓練と研究をよりアクセスしやすくすることを期待しています。SLMのスケーリング則の文脈では、私たちの結果は予測された計算最適性能をはるかに上回っており、SLMの実現可能性に楽観的な見通しを与えています。コード、データ、モデル、サンプルは - https://pages.cs.huji.ac.il/adiyoss-lab/slamming で確認できます。

モデルカード

これは、離散的な Hubertトークン 上で音声の続きを生成するために訓練された音声言語モデル（SLM）です。

モデルの詳細

• モデルの説明：この音声言語モデルは、論文 "Slamming: Training a Speech Language Model on One GPU in a Day" で紹介されたもので、効率的な訓練に焦点を当てています。このモデルは、Qwen/Qwen2.5 - 0.5B から微調整され、mhubert - 25hz の11層から抽出された500個の音声トークンの語彙を使用しています。このモデルは、LibriSpeech、Libri - Lightのサブセットと合成データセット sTinyStories を使用して次のトークン予測で事前訓練され、その後 SpokenSwag でDPOを用いて微調整されました。
  • 開発者：SLP - RL
  • モデルの種類：SpeechLM
  • ライセンス：MIT
  • 微調整元のモデル：Qwen/Qwen2.5 - 0.5B
• モデルのソース
  • リポジトリ：[https://github.com/slp - rl/slamkit](https://github.com/slp - rl/slamkit)
  • 論文：https://arxiv.org/abs/2502.15814
  • デモ：[https://pages.cs.huji.ac.il/adiyoss - lab/slamming/](https://pages.cs.huji.ac.il/adiyoss - lab/slamming/)

モデルの用途

この基本的なSpeechLMは、音声セグメントの続きを生成するために使用できるか、さらなる微調整のベースとして使用できます。使用方法の詳細については、SlamKit [コードベース](https://github.com/slp - rl/slamkit) を参照し、生成例については [デモページ](https://pages.cs.huji.ac.il/adiyoss - lab/slamming/) を確認してください。

• 適用範囲外の用途：このモデルは、主にオーディオブックと物語を含む精選された音声データセットで訓練されているため、出力はいかなる意味でも事実として扱われるべきではありません。

モデルの使い始め方

ユーザーは、完全な使用説明について公式リポジトリ [github](https://github.com/slp - rl/slamkit) を参照してください。

訓練の詳細

ユーザーには、完全な訓練の詳細については 論文 を読むことを強くお勧めします。以下に簡単な概要を示します。

• 訓練データ：このモデルは、事前訓練フェーズで LibriSpeech トレーニングセットのサブセット、[Libri - Light](https://ai.meta.com/tools/libri - light/) および合成データセット sTinyStories を使用して訓練されました。また、合成データセット SpokenSwag でDPOを用いて訓練されました。
• 訓練手順：このモデルは、いくつかのデータセットに対して次のトークン予測で訓練され、その後 SpokenSwag でDPOを用いて訓練されました。完全な訓練レシピについては、論文 または [コード](https://github.com/slp - rl/slamkit) を参照してください。
  • 前処理：音声トークンは、[Hubert - 25hz](https://huggingface.co/slprl/mhubert - base - 25hz) を使用して音声から抽出され、textlesslib でモデルとともに公開された公式のkmeansを使用して量子化されます。ユニットは重複排除されます。完全な詳細については、公式リポジトリ [github](https://github.com/slp - rl/slamkit) を探索することをお勧めします。

評価

論文には完全な結果が記載されていますが、ここでいくつかの結果を示し、サンプルを聴くには [デモページ](https://pages.cs.huji.ac.il/adiyoss - lab/slamming/) を参照してください。

計算インフラストラクチャ

このモデルは、論文 "Slamming: Training a Speech Language Model on One GPU in a Day" の一部として訓練され、効率的な訓練に焦点を当てています。

• ハードウェア：このモデルは、2台のNvidia A100 GPUのみを使用して48時間訓練されました。
• ソフトウェア：このモデルは、[SlamKit](https://github.com/slp - rl/slamkit) コードベースを使用して訓練されました。このコードベースは 🤗transformers を拡張し、音声言語モデルの簡単で効率的な訓練をサポートしています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

BibTeX:

@misc{maimon2025slamming,
      title={Slamming: Training a Speech Language Model on One GPU in a Day}, 
      author={Gallil Maimon and Avishai Elmakies and Yossi Adi},
      year={2025},
      eprint={2502.15814},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2502.15814}, 
}