Bitnet B1.58 2B 4T Bf16

🚀 BitNet b1.58 2B4T - 原生1位大語言模型的擴展

本倉庫包含了 BitNet b1.58 2B4T 的權重，這是由微軟研究院開發的首個在20億參數規模下的開源原生1位大語言模型（LLM）。

該模型在4萬億個標記的語料庫上進行訓練，證明了原生1位大語言模型可以達到與同規模領先的開放權重全精度模型相當的性能，同時在計算效率（內存、能源、延遲）方面具有顯著優勢。

➡️ 技術報告：BitNet b1.58 2B4T技術報告

➡️ 官方推理代碼：microsoft/BitNet (bitnet.cpp)

✨ 主要特性

• 首個開源的20億參數規模原生1位大語言模型。
• 在4萬億標記的語料庫上訓練，性能與同規模全精度模型相當。
• 計算效率高，在內存、能源和延遲方面具有優勢。

📦 安裝指南

使用 transformers 庫的依賴安裝

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用示例

基礎用法（使用 transformers 庫）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# 應用聊天模板
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成回覆
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 僅解碼回覆部分
print("\nAssistant Response:", response)

使用 bitnet.cpp

請參考 bitnet.cpp GitHub倉庫獲取詳細的編譯步驟、使用示例和命令行選項。

📚 詳細文檔

模型變體

Hugging Face上提供了該模型權重的多個版本：

• microsoft/bitnet-b1.58-2B-4T：包含為高效推理優化的1.58位壓縮權重。用於部署。
• microsoft/bitnet-b1.58-2B-4T-bf16（本倉庫）：包含BF16格式的主權重。僅用於訓練或微調。
• microsoft/bitnet-b1.58-2B-4T-gguf：包含GGUF格式的模型權重，與用於CPU推理的 bitnet.cpp 庫兼容。

模型詳情

評估

BitNet b1.58 2B4T與同規模領先的開放權重全精度大語言模型進行了對比評估。以下是關鍵結果（所有模型均為指令微調版本）：

*LLaMA 3.2 1B使用剪枝和蒸餾。 **Gemma-3 1B使用蒸餾。

🔧 技術細節

效率重要提示

⚠️ 重要提示

使用標準的 transformers 庫（即使是所需的分支）使用此模型時，請不要期望在性能效率（速度、延遲或能源消耗）方面有所提升。

transformers 內部當前的執行路徑不包含利用BitNet架構優勢所需的專門、高度優化的計算內核。通過 transformers 運行模型可能會導致推理速度和能源使用與該框架內的標準全精度模型相當，甚至可能更差，無論是在CPU還是GPU上。

雖然由於量化權重，你可能會觀察到內存使用減少，但主要的計算效率優勢無法通過這種標準的 transformers 使用路徑獲得。

要實現技術論文中展示的效率優勢，你必須使用專用的C++實現：bitnet.cpp。

📄 許可證

模型權重和代碼根據 MIT許可證 發佈。

免責聲明

本模型僅用於研究和開發目的。儘管已通過SFT和DPO進行了對齊，但它仍可能產生意外、有偏差或不準確的輸出。請謹慎使用。