Bitnet B1.58 2B 4T

🚀 BitNet b1.58 2B4T - 擴展原生1位大語言模型

本倉庫包含 BitNet b1.58 2B4T 的權重文件。這是由微軟研究院開發的首個開源、原生1位大語言模型（LLM），參數規模達20億。

該模型在4萬億個標記的語料庫上進行訓練，證明了原生1位大語言模型可以達到與同規模領先的開放權重、全精度模型相當的性能，同時在計算效率（內存、能源、延遲）方面具有顯著優勢。

➡️ 技術報告：BitNet b1.58 2B4T技術報告

➡️ 官方推理代碼：microsoft/BitNet (bitnet.cpp)

✨ 主要特性

• 低精度量化：採用原生1.58位權重和8位激活值（W1.58A8），在保證性能的同時大幅降低計算資源需求。
• 高效架構：基於Transformer架構，使用BitLinear層進行優化，提升計算效率。
• 多階段訓練：經過預訓練、有監督微調（SFT）和直接偏好優化（DPO）等多個階段，使模型更好地符合人類偏好。

📦 安裝指南

要求

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# 應用聊天模板
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回覆
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 僅解碼回覆部分
print("\nAssistant Response:", response)

📚 詳細文檔

模型變體

Hugging Face上提供了該模型權重的多個版本：

• microsoft/bitnet-b1.58-2B-4T（本倉庫）：包含為高效推理優化的1.58位打包權重。用於部署。
• microsoft/bitnet-b1.58-2B-4T-bf16：包含BF16格式的主權重。僅用於訓練或微調。
• microsoft/bitnet-b1.58-2B-4T-gguf：包含GGUF格式的模型權重，與用於CPU推理的bitnet.cpp庫兼容。

模型詳情

如何使用（使用bitnet.cpp）

請參考 bitnet.cpp GitHub倉庫獲取詳細的編譯步驟、使用示例和命令行選項。

評估

BitNet b1.58 2B4T與同規模領先的開放權重全精度大語言模型進行了對比評估。以下是關鍵結果（所有模型均為指令調優版本）：

*LLaMA 3.2 1B使用剪枝和蒸餾技術。

**Gemma-3 1B使用蒸餾技術。

重要提示和使用建議

⚠️ 重要提示

使用標準的transformers庫（即使使用所需的分支）使用此模型時，請不要期望在性能效率（速度、延遲或能源消耗方面）有所提升。當前transformers內的執行路徑不包含利用BitNet架構優勢所需的專門、高度優化的計算內核。通過transformers運行模型可能會導致推理速度和能源使用與該框架內的標準全精度模型相當，甚至可能更差。雖然由於量化權重，您可能會觀察到內存使用減少，但通過這種標準transformers使用路徑無法獲得主要的計算效率優勢。要實現技術論文中展示的效率優勢，您必須使用專用的C++實現：bitnet.cpp。

💡 使用建議

對於需要非常長上下文的任務（超出預訓練長度或用於專門的長推理任務），建議在最終微調階段之前進行中間長序列適應/訓練。

📄 許可證

模型權重和代碼根據 MIT許可證 發佈。

🔧 技術細節

偏差、風險和侷限性

• 預測可能會延續訓練數據中存在的偏差。
• 對非英語語言和代表性不足的領域支持有限。
• 存在生成不準確或有害內容的風險。
• Bitnet模型在回答與選舉相關的關鍵查詢時缺陷率較高，可能會導致呈現不正確或無權威性的選舉關鍵信息。我們正在努力改進模型在這方面的性能。用戶應向所在地區的選舉機構核實與選舉相關的信息。

免責聲明

我們不建議在未經進一步測試和開發的情況下將BitNet b1.58用於商業或實際應用。此模型旨在用於研究和開發目的。雖然已通過SFT和DPO進行了對齊，但它仍可能產生意外、有偏差或不準確的輸出。請謹慎使用。