Ichigo Llama3.1 S Base V0.3

🚀 語音指令語言模型 Llama3-S

Llama3-S 是 Homebrew Research 開發的模型家族，可原生理解音頻和文本輸入，主要用於研究應用，旨在提升大語言模型的聲音理解能力。

🚀 快速開始

Llama3-S 家族模型能夠原生理解音頻和文本輸入，並輸出文本內容。該模型家族基於 Llama-3 架構，在英文數據集上進行訓練。

✨ 主要特性

• 多模態輸入：支持文本和聲音作為輸入。
• 原生音頻理解：能夠直接處理音頻輸入，無需額外的轉換步驟。
• 研究導向：主要用於研究應用，可進一步提升大語言模型的聲音理解能力。

📚 詳細文檔

模型詳情

我們開發併發布了 llama3s 模型家族。該家族模型可原生理解音頻和文本輸入。

我們在擴展詞彙表 homebrewltd/llama3.1-s-whispervq-init 上進行持續預訓練，使用了來自 homebrewltd/raw-speech-whispervq-v1 數據集的 9 億個標記。

模型開發者：Homebrew Research 輸入：文本和聲音 輸出：文本 模型架構：Llama-3 語言：英語

預期用途

預期用例：該模型家族主要用於研究應用。此版本旨在進一步提升大語言模型的聲音理解能力。 禁止用途：嚴禁以任何違反適用法律法規的方式使用 llama3-s。

訓練過程

訓練指標圖像

以下是訓練損失曲線的可視化快照。

MMLU 評估結果

硬件配置

GPU 配置：10 個 NVIDIA A6000-48GB GPU 集群。 GPU 使用時長：

• 持續訓練：30 小時。

訓練參數

我們使用 torchtune 庫實現最新的 FSDP2 訓練代碼。

引用信息

BibTeX：

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August},
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-15}

致謝

• WhisperSpeech
• Meta-Llama-3.1-8B-Instruct

📄 許可證

本模型採用 Apache-2.0 許可證。