Bitnet B1.58 2B 4T Gguf

🚀 BitNet b1.58 2B4T - ネイティブ1ビットLLMのスケーリング

このリポジトリには、Microsoft Researchによって開発された、20億パラメータ規模の最初のオープンソースのネイティブ1ビット大規模言語モデル（LLM）である BitNet b1.58 2B4T の重みが含まれています。

このモデルは4兆トークンのコーパスで学習されており、ネイティブ1ビットLLMが、同規模の主要なオープンウェイトの全精度モデルと同等の性能を達成しながら、計算効率（メモリ、エネルギー、レイテンシー）において大きな利点を提供できることを示しています。

➡️ 技術報告: BitNet b1.58 2B4T Technical Report

➡️ 公式推論コード: microsoft/BitNet (bitnet.cpp)

✨ 主な機能

モデルのバリエーション

Hugging Faceにはいくつかのモデル重みのバージョンが用意されています。

• microsoft/bitnet-b1.58-2B-4T: 効率的な推論用に最適化された1.58ビットのパックされた重みが含まれています。デプロイにはこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-bf16: BF16形式のマスター重みが含まれています。学習または微調整目的のみにこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-gguf (このリポジトリ): bitnet.cpp ライブラリと互換性のあるGGUF形式のモデル重みが含まれています。CPU推論に使用できます。

モデルの詳細

📦 インストール

必要条件

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用例

transformers を使用した場合

⚠️ 重要な注意

標準のtransformersライブラリを使用してこのモデルを使用する場合、必要なフォークを使用しても、性能効率の向上（速度、レイテンシー、またはエネルギー消費の面で）を期待しないでください。

transformers内の現在の実行パスには、BitNetアーキテクチャの利点を活用するために必要な特殊な、高度に最適化された計算カーネルが含まれていません。transformersを介してモデルを実行すると、CPUとGPUの両方で、このフレームワーク内の標準の全精度モデルと同等または潜在的に悪い推論速度とエネルギー使用量になる可能性があります。

量子化された重みのためにメモリ使用量が減少することがありますが、主な計算効率の利点は、この標準のtransformers使用パスでは利用できません。

技術論文で示されている効率的な利点を達成するには、専用のC++実装 bitnet.cpp を使用する必要があります。

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# Load tokenizer and model
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# Apply the chat template
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# Generate response
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # Decode only the response part
print("\nAssistant Response:", response)

bitnet.cpp を使用した場合

詳細なコンパイル手順、使用例、およびコマンドラインオプションについては、bitnet.cpp のGitHubリポジトリを参照してください。

📚 ドキュメント

評価

BitNet b1.58 2B4Tは、同規模の主要なオープンウェイトの全精度LLMと比較して評価されました。以下は主要な結果です（すべてのモデルは命令調整されたバージョンです）。

*LLaMA 3.2 1Bはプルーニングと蒸留を使用しています。

**Gemma-3 1Bは蒸留を使用しています。

📄 ライセンス

モデルの重みとコードは、MITライセンス の下で公開されています。

💡 使用上の注意

このモデルは研究および開発目的で意図されています。SFTとDPOを使用して調整しようとしましたが、予期せぬ、偏った、または不正確な出力を生成する可能性があります。責任を持って使用してください。