Bitnet B1.58 2B 4T Bf16

🚀 BitNet b1.58 2B4T - 原生1位大语言模型的扩展

本仓库包含了 BitNet b1.58 2B4T 的权重，这是由微软研究院开发的首个在20亿参数规模下的开源原生1位大语言模型（LLM）。

该模型在4万亿个标记的语料库上进行训练，证明了原生1位大语言模型可以达到与同规模领先的开放权重全精度模型相当的性能，同时在计算效率（内存、能源、延迟）方面具有显著优势。

➡️ 技术报告：BitNet b1.58 2B4T技术报告

➡️ 官方推理代码：microsoft/BitNet (bitnet.cpp)

✨ 主要特性

• 首个开源的20亿参数规模原生1位大语言模型。
• 在4万亿标记的语料库上训练，性能与同规模全精度模型相当。
• 计算效率高，在内存、能源和延迟方面具有优势。

📦 安装指南

使用 transformers 库的依赖安装

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用示例

基础用法（使用 transformers 库）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# 应用聊天模板
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回复
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 仅解码回复部分
print("\nAssistant Response:", response)

使用 bitnet.cpp

请参考 bitnet.cpp GitHub仓库获取详细的编译步骤、使用示例和命令行选项。

📚 详细文档

模型变体

Hugging Face上提供了该模型权重的多个版本：

• microsoft/bitnet-b1.58-2B-4T：包含为高效推理优化的1.58位压缩权重。用于部署。
• microsoft/bitnet-b1.58-2B-4T-bf16（本仓库）：包含BF16格式的主权重。仅用于训练或微调。
• microsoft/bitnet-b1.58-2B-4T-gguf：包含GGUF格式的模型权重，与用于CPU推理的 bitnet.cpp 库兼容。

模型详情

评估

BitNet b1.58 2B4T与同规模领先的开放权重全精度大语言模型进行了对比评估。以下是关键结果（所有模型均为指令微调版本）：

*LLaMA 3.2 1B使用剪枝和蒸馏。 **Gemma-3 1B使用蒸馏。

🔧 技术细节

效率重要提示

⚠️ 重要提示

使用标准的 transformers 库（即使是所需的分支）使用此模型时，请不要期望在性能效率（速度、延迟或能源消耗）方面有所提升。

transformers 内部当前的执行路径不包含利用BitNet架构优势所需的专门、高度优化的计算内核。通过 transformers 运行模型可能会导致推理速度和能源使用与该框架内的标准全精度模型相当，甚至可能更差，无论是在CPU还是GPU上。

虽然由于量化权重，你可能会观察到内存使用减少，但主要的计算效率优势无法通过这种标准的 transformers 使用路径获得。

要实现技术论文中展示的效率优势，你必须使用专用的C++实现：bitnet.cpp。

📄 许可证

模型权重和代码根据 MIT许可证 发布。

免责声明

本模型仅用于研究和开发目的。尽管已通过SFT和DPO进行了对齐，但它仍可能产生意外、有偏差或不准确的输出。请谨慎使用。