Diva Llama 3 V0 8b

🚀 Diva Llama 3 のモデルカード

このモデルは、音声とテキストを入力として扱うことができるエンドツーエンドの音声アシスタントモデルです。蒸留損失を使用して学習されています。詳細はプレプリントを参照してください。

モデルの動作をdiva-audio.github.ioで確認するか、Weights&Biasesで完全な学習ログを見ることができます。

📄 ライセンス

このモデルは MPL-2.0 ライセンスの下で提供されています。

📚 引用

BibTeX:

@misc{DiVA,
      title={{D}istilling an {E}nd-to-{E}nd {V}oice {A}ssistant {W}ithout {I}nstruction {T}raining {D}ata}, 
      author={William Held and Ella Li and Michael Ryan and Weiyan Shi and Yanzhe Zhang and Diyi Yang},
      year={2024},
      eprint={2410.02678},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.02678}, 
}
    

💻 使用例

基本的な使用法

from transformers import AutoModel
import librosa
import wget

filename = wget.download(
    "https://github.com/ffaisal93/SD-QA/raw/refs/heads/master/dev/eng/irl/wav_eng/-1008642825401516622.wav"
)

speech_data, _ = librosa.load(filename, sr=16_000)

model = AutoModel.from_pretrained("WillHeld/DiVA-llama-3-v0-8b", trust_remote_code=True)

print(model.generate([speech_data]))
print(model.generate([speech_data], ["Reply Briefly Like A Pirate"]))

filename = wget.download(
    "https://github.com/ffaisal93/SD-QA/raw/refs/heads/master/dev/eng/irl/wav_eng/-2426554427049983479.wav"
)

speech_data2, _ = librosa.load(filename, sr=16_000)

print(
    model.generate(
        [speech_data, speech_data2],
        ["Reply Briefly Like A Pirate", "Reply Briefly Like A New Yorker"],
    )
)

🔧 技術詳細

学習データ

このモデルは、CommonVoiceコーパスで学習されました。

学習手順

このモデルは、バッチサイズ 512 のレコーディングで 7k の勾配ステップで学習され、学習率は 5e-5 からゼロまで線形に減衰し、70 ステップの線形ウォームアップがあります。

環境への影響

• ハードウェアタイプ: V4-256 TPU
• 使用時間: 11 時間
• クラウドプロバイダー: Google Cloud
• コンピュートリージョン: US Central C

ハードウェア

このモデルは、Google Cloud の V4-256 TPU で学習されました。

ソフトウェア

このモデルは、Levanter で学習されました。

📇 モデルカードの作成者

Will Held

📞 モデルカードの連絡先

held@stanford.edu