Bitnet B1 58 Xl

🚀 比特网络b1.58复现项目

本项目是对 BitNet b1.58 论文的复现。模型使用 RedPajama 数据集 进行了 100B 标记的训练。超参数、两阶段学习率和权重衰减的实现均参考了他们后续 论文 中的建议。所有模型均在 仓库 中开源。当资源允许时，我们将训练更大的模型和/或处理更多的标记。

✨ 主要特性

• 复现了 BitNet b1.58 论文中的模型。
• 使用 RedPajama 数据集进行训练。
• 实现了论文中建议的超参数和训练策略。
• 所有模型均开源。

📦 安装指南

运行评估需要安装 lm-eval 库：

pip install lm-eval==0.3.0

💻 使用示例

基础用法

运行困惑度（PPL）评估：

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

高级用法

运行任务评估：

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📚 详细文档

结果

困惑度（PPL）和零样本准确率：

报告值和复现结果之间的差异可能是由于训练数据处理、随机种子或其他随机因素造成的。

评估

评估流程来自论文作者。以下是运行评估的命令：

困惑度评估

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

任务评估

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📄 许可证

本项目采用 MIT 许可证。