Ichigo Llama3.1 S Base V0.3

🚀 [llama3s モデルファミリー]

このモデルファミリーは、音声とテキスト入力をネイティブに理解する能力を備え、主に研究用途を目的として開発されました。

データセットと言語

🚀 クイックスタート

このモデルファミリーは、音声とテキストの入力を理解し、テキストを出力することができます。以下に詳細な情報を示します。

✨ 主な機能

• 音声とテキスト入力をネイティブに理解する。
• 研究用途に最適化されている。

📚 ドキュメント

モデルの詳細

当社は、llama3s モデルファミリーを開発・公開しました。このモデルファミリーは、音声とテキストの入力をネイティブに理解することができます。

当社は、拡張語彙 homebrewltd/llama3.1-s-whispervq-init 上で、homebrewltd/raw-speech-whispervq-v1 データセットからの 9 億トークンを使用して継続的事前学習を行いました。

モデル開発者: Homebrew Research 入力: テキストと音声 出力: テキスト モデルアーキテクチャ: Llama-3 言語: 英語

想定される使用方法

想定される使用事例: このモデルファミリーは主に研究用途を目的としています。このバージョンは、音声理解能力に関する大規模言語モデル (LLM) をさらに改善することを目指しています。 想定外の使用: llama3-s を適用可能な法律や規制に違反する方法で使用することは、厳しく禁止されています。

学習プロセス

学習メトリクス画像: 以下は、学習損失曲線を可視化したスナップショットです。

MMLU:

ハードウェア

GPU 構成: 10 台の NVIDIA A6000-48GB クラスタ GPU 使用時間:

• 継続的学習: 30 時間

学習引数

当社は、最新の FSDP2 学習コード実装に torchtune ライブラリを利用しています。

引用情報

BibTeX:

@article{Llama3-S: Sound Instruction Language Model 2024,
  title={Llama3-S},
  author={Homebrew Research},
  year=2024,
  month=August},
  url={https://huggingface.co/homebrewltd/llama3.1-s-2024-08-15}

謝辞

• WhisperSpeech
• Meta-Llama-3.1-8B-Instruct

📄 ライセンス

このモデルは、apache-2.0 ライセンスの下で提供されています。