Arsh Llm

🚀 Arsh LLM

Arsh LLM是為助力研究而開發的全新項目。該版本在olmo mix數據集上進行預訓練，使用T4 GPU完成訓練（受限於各種條件，此過程耗時約4 - 5天，我將其拆分為8個部分，每個部分耗時1 - 2天）。

🚀 快速開始

Arsh LLM是一個全新的研究項目，目前還需要更多的訓練，當前版本只是其早期版本之一。

✨ 主要特性

• 旨在證明大型模型不一定需要強大的硬件支持，藉助現有工具也能實現高效訓練。
• 基於Gpt neox和llama文檔，並藉助AI進行架構創建，以實現最佳優化。
• 利用phi - 4計算初始權重，在PILE數據集的部分數據上進行訓練，使模型更穩定。
• 在olmo - mix - 1124數據集上訓練arshGpt模型，便於將數據更輕鬆地轉換到新的大型模型中。
• 合併模型在一些小型對話開源數據集上進行微調，性能有所提升。

📚 詳細文檔

模型詳情

Arsh LLM是最新的研究項目，目前仍需更多訓練，此為早期版本之一。目標是證明大型模型無需強大硬件，藉助現有工具也能實現高效訓練。 首先，參考Gpt neox和llama文檔，並利用AI創建架構以實現最佳優化（不確定是否已達最佳）。 接著，創建模型並使用phi - 4計算初始權重，在PILE數據集的部分數據上訓練，使模型穩定可用。 然後，在olmo - mix - 1124數據集上訓練名為arshGpt的模型，便於將數據更輕鬆地轉換到新的大型模型中。 最後，合併模型在一些小型對話開源數據集上進行微調，推測性能有所提升。

數據集

📄 許可證

本模型採用MIT許可證，這是一種能讓人感受到自由的優秀許可證😅。