Bitnet B1 58 Xl

🚀 比特網絡b1.58復現項目

本項目是對 BitNet b1.58 論文的復現。模型使用 RedPajama 數據集 進行了 100B 標記的訓練。超參數、兩階段學習率和權重衰減的實現均參考了他們後續 論文 中的建議。所有模型均在 倉庫 中開源。當資源允許時，我們將訓練更大的模型和/或處理更多的標記。

✨ 主要特性

• 復現了 BitNet b1.58 論文中的模型。
• 使用 RedPajama 數據集進行訓練。
• 實現了論文中建議的超參數和訓練策略。
• 所有模型均開源。

📦 安裝指南

運行評估需要安裝 lm-eval 庫：

pip install lm-eval==0.3.0

💻 使用示例

基礎用法

運行困惑度（PPL）評估：

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

高級用法

運行任務評估：

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📚 詳細文檔

結果

困惑度（PPL）和零樣本準確率：

報告值和復現結果之間的差異可能是由於訓練數據處理、隨機種子或其他隨機因素造成的。

評估

評估流程來自論文作者。以下是運行評估的命令：

困惑度評估

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

任務評估

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📄 許可證

本項目採用 MIT 許可證。