Llama 3 6B V0

🚀 Llama-3-6B模型

本項目推出了全球首個擁有60億參數的Llama-3基礎模型。該模型是一個未經訓練的模型，它使用了一種名為降階循環利用的技術，從Meta-Llama-3-8B模型創建而來。你可以在以下鏈接查看該模型的訓練版本：Llama-3-6B-v0.1。

🚀 快速開始

本項目的核心是推出了全新的Llama-3-6B基礎模型，為自然語言處理領域提供了新的選擇。它基於先進的技術從Meta-Llama-3-8B模型衍生而來，具有獨特的優勢。

✨ 主要特性

• 全球首個60億參數的Llama-3基礎模型。
• 使用創新的降階循環利用技術創建。
• 可查看訓練版本以滿足不同需求。

📚 詳細文檔

模型描述

• 開發者：Prince Canuma
• 贊助方：General
• 模型類型：Llama
• 許可證：Llama-3

模型來源

• 倉庫地址：https://github.com/Blaizzy/Coding-LLMs-from-scratch/tree/main/Llama-3
• 視頻鏈接：https://youtube.com/playlist?list=PLDn_JsyofyfTH5_5V1MNb8UYKxMl6IMNy&si=5Y4cm-6wrMOD1Abr

引用信息

BibTeX

@misc{prince2024downcycling,
      title={Efficient LLM Downcycling: Generating Diverse Model Sizes from Pretrained Giants},
      author={Prince Canuma},
      year={2024},
}

參考文獻

@misc{komatsuzaki2023sparse,
      title={Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints}, 
      author={Aran Komatsuzaki and Joan Puigcerver and James Lee-Thorp and Carlos Riquelme Ruiz and Basil Mustafa and Joshua Ainslie and Yi Tay and Mostafa Dehghani and Neil Houlsby},
      year={2023},
      eprint={2212.05055},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{sanyal2024pretraining,
      title={Pre-training Small Base LMs with Fewer Tokens}, 
      author={Sunny Sanyal and Sujay Sanghavi and Alexandros G. Dimakis},
      year={2024},
      eprint={2404.08634},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型使用的許可證為Llama-3。

致謝

我衷心感謝社區提供的寶貴專業知識和堅定支持。此外，我要感謝來自General Catalyst (GC)的Viet為我提供了急需的計算資源。這是我迄今為止最具雄心的項目，沒有出色的開源機器學習社區，這一切都不可能實現！開發者們，我期待看到並聽到你們創建的創新微調模型和應用。用戶們，我很高興瞭解你們的使用體驗和用例。感謝你們的關注和支持！