Bitnet B1 58 3B

🚀 BitNet b1.58 論文復現項目

本項目是對 BitNet b1.58 論文的復現。模型使用 RedPajama 數據集 進行了 100B 詞元的訓練。超參數、兩階段學習率和權重衰減的實現均參考了他們後續 論文 中的建議。所有模型均在 倉庫 中開源。待資源充足時，我們將訓練更大的模型或使用更多的詞元進行訓練。

🚀 快速開始

評估環境安裝

運行以下命令安裝評估所需的依賴：

pip install lm-eval==0.3.0

運行評估

評估困惑度（PPL）

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

評估任務

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

✨ 主要特性

• 復現論文成果：嚴格按照論文中的方法和建議，復現了 BitNet b1.58 模型的訓練過程。
• 開源模型：所有訓練好的模型均在 Hugging Face 倉庫中開源，方便社區使用和研究。
• 可擴展性：待資源充足時，將繼續訓練更大的模型或使用更多的詞元進行訓練。

📚 詳細文檔

結果對比

PPL 和零樣本準確率：

報告值與復現結果之間的差異可能源於訓練數據處理、隨機種子或其他隨機因素。

評估說明

評估流程來自論文作者。上述提供了運行評估的命令。

📄 許可證

本項目採用 MIT 許可證。