Llama 3 6B V0

🚀 Llama-3-6Bモデル

このモデルは、60億個のパラメータを持つ世界初のLlama-3ベースモデルです。Meta-Llama-3-8Bからダウンサイクリングという手法を用いて作成された未学習モデルです。

学習済みバージョンはこちらで確認できます： https://huggingface.co/prince-canuma/Llama-3-6B-v0.1

🚀 クイックスタート

このセクションでは、Llama-3-6Bモデルの概要を説明します。このモデルは、特定の技術を用いてMeta-Llama-3-8Bから派生した未学習モデルです。

✨ 主な機能

• 世界初の60億パラメータのLlama-3ベースモデル
• ダウンサイクリング技術を用いてMeta-Llama-3-8Bから作成

📚 ドキュメント

モデル概要

モデルの説明

• 開発者: Prince Canuma
• 支援元: General
• モデルタイプ: Llama
• ライセンス: Llama-3

モデルのソース

• リポジトリ: https://github.com/Blaizzy/Coding-LLMs-from-scratch/tree/main/Llama-3
• 動画: https://youtube.com/playlist?list=PLDn_JsyofyfTH5_5V1MNb8UYKxMl6IMNy&si=5Y4cm-6wrMOD1Abr

引用

BibTeX

@misc{prince2024downcycling,
      title={Efficient LLM Downcycling: Generating Diverse Model Sizes from Pretrained Giants},
      author={Prince Canuma},
      year={2024},
}

参考文献

@misc{komatsuzaki2023sparse,
      title={Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints}, 
      author={Aran Komatsuzaki and Joan Puigcerver and James Lee-Thorp and Carlos Riquelme Ruiz and Basil Mustafa and Joshua Ainslie and Yi Tay and Mostafa Dehghani and Neil Houlsby},
      year={2023},
      eprint={2212.05055},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{sanyal2024pretraining,
      title={Pre-training Small Base LMs with Fewer Tokens}, 
      author={Sunny Sanyal and Sujay Sanghavi and Alexandros G. Dimakis},
      year={2024},
      eprint={2404.08634},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルはLlama-3ライセンスの下で提供されています。

ありがとうございます！

皆さんの貴重な専門知識と絶え間ない支援に心から感謝します。

また、General Catalyst (GC) のVietに必要なコンピューティングリソースを提供していただいたことに感謝します。

これは私の最も野心的なプロジェクトであり、素晴らしいオープンソースMLコミュニティのおかげで実現できました！

開発者の皆さん、皆さんが作成する革新的なファインチューニングやアプリケーションを見て、話を聞くのが楽しみです。

ユーザーの皆さん、皆さんの経験やユースケースを知るのが楽しみです。

皆さんの関心と支援に感謝します！