Bitnet B1 58 Large

🚀 比特網絡（BitNet）b1.58 復現項目

本項目復現了論文 BitNet b1.58 的相關工作。模型使用 RedPajama 數據集 進行了 100B 詞元的訓練。超參數、兩階段學習率和權重衰減的設置均參照他們後續的 論文 實現。所有模型均在 倉庫 中開源。待資源充足時，我們將訓練更大規模的模型和/或使用更多的詞元進行訓練。

📚 詳細文檔

🔍 結果

以下是困惑度（PPL）和零樣本準確率的結果：

報告值和復現結果之間的差異可能源於訓練數據處理、隨機種子或其他隨機因素。

🧪 評估

評估流程參考了論文作者的方法。以下是運行評估的命令：

pip install lm-eval==0.3.0

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📄 許可證

本項目採用 MIT 許可證。