Bitnet B1 58 Xl Q8 0 Gguf

🚀 BitNet b1.58 论文复现项目

本项目是对 BitNet b1.58 论文的复现。模型使用 RedPajama 数据集 进行了 100B 词元的训练。超参数、两阶段学习率和权重衰减的实现均参考了他们后续 论文 中的建议。所有模型均在 仓库 中开源。在资源允许的情况下，我们将训练更大规模的模型或使用更多的词元进行训练。

✨ 主要特性

• 复现了 BitNet b1.58 论文中的模型。
• 使用 RedPajama 数据集进行训练。
• 所有模型开源。

📚 详细文档

结果

困惑度（PPL）和零样本准确率：

报告值和复现结果之间的差异可能源于训练数据处理、随机种子或其他随机因素。

评估

你现在可以使用 llama.cpp 运行该模型。

📄 许可证

本项目采用 MIT 许可证。