Bitnet B1.58 2B 4T Gguf

🚀 BitNet b1.58 2B4T - 原生1位大語言模型的擴展

本倉庫包含了 BitNet b1.58 2B4T 的權重，這是由微軟研究院開發的首個開源、原生1位的20億參數規模大語言模型（LLM）。

該模型在4萬億個標記的語料庫上進行訓練，證明了原生1位大語言模型在計算效率（內存、能源、延遲）方面具有顯著優勢的同時，還能達到與同規模領先的開放權重全精度模型相當的性能。

➡️ 技術報告：BitNet b1.58 2B4T技術報告

➡️ 官方推理代碼：microsoft/BitNet (bitnet.cpp)

✨ 主要特性

• 首個開源的原生1位20億參數規模大語言模型。
• 在計算效率（內存、能源、延遲）方面具有顯著優勢。
• 性能與同規模領先的開放權重全精度模型相當。

📦 安裝指南

要求

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# 應用聊天模板
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 生成響應
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 僅解碼響應部分
print("\nAssistant Response:", response)

📚 詳細文檔

模型變體

Hugging Face上提供了該模型權重的多個版本：

• microsoft/bitnet-b1.58-2B-4T：包含為高效推理優化的1.58位打包權重。用於部署。
• microsoft/bitnet-b1.58-2B-4T-bf16：包含BF16格式的主權重。僅用於訓練或微調。
• microsoft/bitnet-b1.58-2B-4T-gguf（本倉庫）：包含GGUF格式的模型權重，與用於CPU推理的bitnet.cpp庫兼容。

模型詳情

如何使用（使用bitnet.cpp）

請參考bitnet.cpp GitHub倉庫，獲取詳細的編譯步驟、使用示例和命令行選項。

評估

BitNet b1.58 2B4T與同規模領先的開放權重全精度大語言模型進行了評估對比。以下是關鍵結果（所有模型均為指令調優版本）：

*LLaMA 3.2 1B使用剪枝和蒸餾。 **Gemma-3 1B使用蒸餾。

重要提示

⚠️ 重要提示

使用標準的transformers庫（即使使用所需的分支）使用此模型時，請不要期望在性能效率（速度、延遲或能源消耗方面）有所提升。

當前transformers內部的執行路徑不包含利用BitNet架構優勢所需的專門、高度優化的計算內核。通過transformers運行模型可能會導致推理速度和能源使用與該框架內的標準全精度模型相當，甚至可能更差，無論是在CPU還是GPU上。

雖然由於量化權重，您可能會觀察到內存使用減少，但主要的計算效率優勢無法通過這種標準的transformers使用路徑獲得。

要實現技術論文中展示的效率優勢，您必須使用專用的C++實現：bitnet.cpp。

免責聲明

本模型僅用於研究和開發目的。儘管已通過SFT和DPO進行了對齊，但它仍可能產生意外、有偏差或不準確的輸出。請謹慎使用。

📄 許可證

模型權重和代碼根據MIT許可證發佈。