Ichigo Llama3.1 S Base V0.3

🚀 大語言模型 llama3s

這是由 Homebrew Research 開發的模型家族，原生支持理解音頻和文本輸入，主要用於研究應用，可進一步提升大語言模型的聲音理解能力。

🚀 快速開始

此模型家族 llama3s 原生支持理解音頻和文本輸入。它在擴展詞彙表 homebrewltd/llama3.1-s-whispervq-init 上進行持續預訓練，使用了來自 homebrewltd/raw-speech-whispervq-v1 數據集的 9 億個標記。

✨ 主要特性

• 模型開發者：Homebrew Research。
• 輸入：文本和聲音。
• 輸出：文本。
• 模型架構：Llama - 3。
• 支持語言：英語。

📚 詳細文檔

預期用途

• 預期用例：該模型家族主要用於研究應用。此版本旨在進一步提升大語言模型的聲音理解能力。
• 使用限制：嚴禁以任何違反適用法律法規的方式使用 llama3 - s。

訓練過程

訓練指標圖像

以下是訓練損失曲線的可視化快照。

MMLU 指標

硬件配置

• GPU 配置：10 個 NVIDIA A6000 - 48GB 的 GPU 集群。
• GPU 使用時長：
  • 持續訓練：30 小時。

訓練參數

使用 torchtune 庫實現最新的 FSDP2 訓練代碼。

引用信息

BibTeX：

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August},
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-15}

致謝

• WhisperSpeech
• Meta - Llama - 3.1 - 8B - Instruct

📄 許可證

本項目採用 Apache - 2.0 許可證。

數據集信息