Llama 1B Dj Refine 150B

🚀 參考大語言模型項目

本項目是一個參考大語言模型，源自 Data-Juicer，能在多個任務中展現出優秀性能，為相關領域的研究和應用提供了有力支持。

🚀 快速開始

可直接訪問競賽官網獲取更多信息，我們的首個以數據為中心的大語言模型競賽已經開啟！請訪問 FT-Data Ranker 的官網查看詳情：1B賽道、7B賽道。

✨ 主要特性

• 模型架構：採用 LLaMA - 1.3B 架構，並使用 OpenLLaMA 的實現方式。
• 預訓練數據：在經過 Data - Juicer 優化處理的 1500 億個 RedPajama 和 Pile 數據標記上進行預訓練。
• 性能表現：在 16 項 HELM 任務中平均得分達到 34.21，超越了 Falcon - 1.3B（在來自 RefinedWeb 的 3500 億個標記上訓練）、Pythia - 1.4B（在來自原始 Pile 的 3000 億個標記上訓練）和 Open - LLaMA - 1.3B（在來自原始 RedPajama 和 Pile 的 1500 億個標記上訓練）。

📚 詳細文檔

更多詳細信息，請參考我們的 論文。

📄 許可證

本項目採用 Apache - 2.0 許可證。

📦 訓練數據集