Ichigo Llama3.1 S Base V0.3

🚀 ラマ3-S音声命令言語モデル

このモデルは、音声とテキストの入力をネイティブに理解することができ、主に研究用途を対象としています。

🚀 クイックスタート

このモデルは、音声とテキストの入力をネイティブに理解することができます。以下に詳細な情報を紹介します。

✨ 主な機能

• 音声とテキストの入力をネイティブに理解することができます。
• 拡張語彙での継続的事前学習により、音声理解能力を向上させています。

📚 ドキュメント

モデルの詳細

当社はllama3sファミリーを開発・リリースしました。このファミリーは、音声とテキストの入力をネイティブに理解することができます。

homebrewltd/llama3.1-s-whispervq-initの拡張語彙で、homebrewltd/raw-speech-whispervq-v1データセットからの9億トークンを使って継続的事前学習を行いました。

モデル開発者: Homebrew Research 入力: テキストと音声 出力: テキスト モデルアーキテクチャ: Llama-3 言語: 英語

想定される使用方法

想定される使用事例: このファミリーは主に研究用途を対象としています。このバージョンは、大規模言語モデルの音声理解能力をさらに向上させることを目指しています。 想定外の使用: llama3-sを適用可能な法律や規制に違反する方法で使用することは、厳格に禁止されています。

学習プロセス

学習指標画像: 以下は、学習損失曲線を可視化したスナップショットです。

MMLU:

ハードウェア

GPU構成: 10台のNVIDIA A6000-48GBのクラスター GPU使用時間:

• 継続的学習: 30時間

学習引数

最新のFSDP2学習コード実装には、torchtuneライブラリを利用しています。

引用情報

BibTeX:

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August},
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-15}

謝辞

• WhisperSpeech
• Meta-Llama-3.1-8B-Instruct

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。