Bitnet B1.58 2B 4T

🚀 BitNet b1.58 2B4T - 扩展原生1位大语言模型

本仓库包含 BitNet b1.58 2B4T 的权重文件。这是由微软研究院开发的首个开源、原生1位大语言模型（LLM），参数规模达20亿。

该模型在4万亿个标记的语料库上进行训练，证明了原生1位大语言模型可以达到与同规模领先的开放权重、全精度模型相当的性能，同时在计算效率（内存、能源、延迟）方面具有显著优势。

➡️ 技术报告：BitNet b1.58 2B4T技术报告

➡️ 官方推理代码：microsoft/BitNet (bitnet.cpp)

✨ 主要特性

• 低精度量化：采用原生1.58位权重和8位激活值（W1.58A8），在保证性能的同时大幅降低计算资源需求。
• 高效架构：基于Transformer架构，使用BitLinear层进行优化，提升计算效率。
• 多阶段训练：经过预训练、有监督微调（SFT）和直接偏好优化（DPO）等多个阶段，使模型更好地符合人类偏好。

📦 安装指南

要求

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# 应用聊天模板
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回复
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 仅解码回复部分
print("\nAssistant Response:", response)

📚 详细文档

模型变体

Hugging Face上提供了该模型权重的多个版本：

• microsoft/bitnet-b1.58-2B-4T（本仓库）：包含为高效推理优化的1.58位打包权重。用于部署。
• microsoft/bitnet-b1.58-2B-4T-bf16：包含BF16格式的主权重。仅用于训练或微调。
• microsoft/bitnet-b1.58-2B-4T-gguf：包含GGUF格式的模型权重，与用于CPU推理的bitnet.cpp库兼容。

模型详情

如何使用（使用bitnet.cpp）

请参考 bitnet.cpp GitHub仓库获取详细的编译步骤、使用示例和命令行选项。

评估

BitNet b1.58 2B4T与同规模领先的开放权重全精度大语言模型进行了对比评估。以下是关键结果（所有模型均为指令调优版本）：

*LLaMA 3.2 1B使用剪枝和蒸馏技术。

**Gemma-3 1B使用蒸馏技术。

重要提示和使用建议

⚠️ 重要提示

使用标准的transformers库（即使使用所需的分支）使用此模型时，请不要期望在性能效率（速度、延迟或能源消耗方面）有所提升。当前transformers内的执行路径不包含利用BitNet架构优势所需的专门、高度优化的计算内核。通过transformers运行模型可能会导致推理速度和能源使用与该框架内的标准全精度模型相当，甚至可能更差。虽然由于量化权重，您可能会观察到内存使用减少，但通过这种标准transformers使用路径无法获得主要的计算效率优势。要实现技术论文中展示的效率优势，您必须使用专用的C++实现：bitnet.cpp。

💡 使用建议

对于需要非常长上下文的任务（超出预训练长度或用于专门的长推理任务），建议在最终微调阶段之前进行中间长序列适应/训练。

📄 许可证

模型权重和代码根据 MIT许可证 发布。

🔧 技术细节

偏差、风险和局限性

• 预测可能会延续训练数据中存在的偏差。
• 对非英语语言和代表性不足的领域支持有限。
• 存在生成不准确或有害内容的风险。
• Bitnet模型在回答与选举相关的关键查询时缺陷率较高，可能会导致呈现不正确或无权威性的选举关键信息。我们正在努力改进模型在这方面的性能。用户应向所在地区的选举机构核实与选举相关的信息。

免责声明

我们不建议在未经进一步测试和开发的情况下将BitNet b1.58用于商业或实际应用。此模型旨在用于研究和开发目的。虽然已通过SFT和DPO进行了对齐，但它仍可能产生意外、有偏差或不准确的输出。请谨慎使用。