Bitnet B1.58 2B 4T Bf16

🚀 BitNet b1.58 2B4T - ネイティブ1ビットLLMのスケーリング

このリポジトリには、Microsoft Researchによって開発された、20億パラメータ規模の最初のオープンソースのネイティブ1ビット大規模言語モデル（LLM）であるBitNet b1.58 2B4Tの重みが含まれています。

このモデルは、4兆トークンのコーパスで学習されており、ネイティブ1ビットLLMが、同規模の主要なオープンウェイト、フル精度モデルと同等の性能を達成しながら、計算効率（メモリ、エネルギー、レイテンシ）において大きな利点を提供できることを示しています。

➡️ 技術レポート: BitNet b1.58 2B4T Technical Report

➡️ 公式推論コード: microsoft/BitNet (bitnet.cpp)

✨ 主な機能

モデルのバリエーション

Hugging Faceには、いくつかのバージョンのモデル重みが用意されています。

• microsoft/bitnet-b1.58-2B-4T: 効率的な推論用に最適化されたパックされた1.58ビットの重みが含まれています。デプロイにはこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-bf16 (このリポジトリ): BF16形式のマスター重みが含まれています。トレーニングまたは微調整の目的でのみこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-gguf: GGUF形式のモデル重みが含まれており、CPU推論用のbitnet.cppライブラリと互換性があります。

モデルの詳細

📦 インストール

必要条件

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# Apply the chat template
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# Generate response
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # Decode only the response part
print("\nAssistant Response:", response)

高度な使用法

bitnet.cppを使用する場合は、詳細なコンパイル手順、使用例、およびコマンドラインオプションについては、bitnet.cppのGitHubリポジトリを参照してください。

🔧 技術詳細

評価

BitNet b1.58 2B4Tは、同規模の主要なオープンウェイト、フル精度LLMと比較して評価されました。以下は主要な結果です（すべてのモデルは命令微調整されたバージョンです）。

*LLaMA 3.2 1Bは剪定と蒸留を使用しています。 **Gemma-3 1Bは蒸留を使用しています。

📄 ライセンス

モデルの重みとコードは、MITライセンスの下で公開されています。

⚠️ 重要提示

このモデルを標準のtransformersライブラリで使用する場合、必要なフォークを使用しても、速度、レイテンシ、またはエネルギー消費の面での性能効率の向上は期待できません。transformers内の現在の実行パスには、BitNetアーキテクチャの利点を活用するために必要な特殊な、高度に最適化された計算カーネルが含まれていません。transformersを介してモデルを実行すると、このフレームワーク内の標準のフル精度モデルと同等、または潜在的に劣る推論速度とエネルギー使用量になる可能性があります。量子化された重みのためにメモリ使用量が減少することがありますが、主な計算効率の利点はこの標準のtransformers使用パスでは利用できません。技術論文で示されている効率的な利点を達成するには、専用のC++実装であるbitnet.cppを使用する必要があります。

💡 使用建议

このモデルは研究および開発目的で意図されています。SFTとDPOを使用して調整されていますが、予期しない、偏った、または不正確な出力を生成する可能性があります。責任を持って使用してください。