Bitnet B1.58 2B 4T

🚀 BitNet b1.58 2B4T - ネイティブ1ビットLLMのスケーリング

このリポジトリには、Microsoft Researchによって開発された、20億パラメータ規模の最初のオープンソース、ネイティブ1ビットの大規模言語モデル（LLM）である BitNet b1.58 2B4T の重みが含まれています。

4兆トークンのコーパスで学習されたこのモデルは、ネイティブ1ビットのLLMが、同規模の主要なオープンウェイト、フル精度モデルと同等の性能を達成しつつ、計算効率（メモリ、エネルギー、レイテンシ）において大きな利点を提供できることを示しています。

➡️ 技術レポート: BitNet b1.58 2B4T Technical Report

➡️ 公式推論コード: microsoft/BitNet (bitnet.cpp)

✨ 主な機能

モデルのバリエーション

Hugging Faceには、いくつかのバージョンのモデル重みが用意されています。

• microsoft/bitnet-b1.58-2B-4T (このリポジトリ): 効率的な推論用に最適化されたパックされた1.58ビットの重みが含まれています。デプロイにはこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-bf16: BF16形式のマスター重みが含まれています。トレーニングまたはファインチューニング目的のみにこれを使用してください。

• microsoft/bitnet-b1.58-2B-4T-gguf: GGUF形式のモデル重みが含まれており、CPU推論用の bitnet.cpp ライブラリと互換性があります。

モデルの詳細

📦 インストール

必要条件

pip install git+https://github.com/huggingface/transformers.git@096f25ae1f501a084d8ff2dcaf25fbc2bd60eba4

💻 使用例

基本的な使用法 (transformers を使用)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/bitnet-b1.58-2B-4T"

# トークナイザーとモデルをロード
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16
)

# チャットテンプレートを適用
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "How are you?"},
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
chat_input = tokenizer(prompt, return_tensors="pt").to(model.device)

# 応答を生成
chat_outputs = model.generate(**chat_input, max_new_tokens=50)
response = tokenizer.decode(chat_outputs[0][chat_input['input_ids'].shape[-1]:], skip_special_tokens=True) # 応答部分のみをデコード
print("\nAssistant Response:", response)

高度な使用法 (bitnet.cpp を使用)

詳細なコンパイル手順、使用例、およびコマンドラインオプションについては、bitnet.cpp のGitHubリポジトリを参照してください。

🔧 技術詳細

評価

BitNet b1.58 2B4Tは、同規模の主要なオープンウェイトのフル精度LLMと比較して評価されました。以下は主要な結果です（すべてのモデルは命令調整されたバージョンです）。

*LLaMA 3.2 1Bはプルーニングと蒸留を使用しています。

**Gemma-3 1Bは蒸留を使用しています。

重要提示

⚠️ 重要提示

標準のtransformersライブラリを使用してこのモデルを使用する場合、必要なフォークを使用しても、速度、レイテンシ、またはエネルギー消費の面でのパフォーマンス効率の向上は期待しないでください。

transformers内の現在の実行パスには、BitNetアーキテクチャの利点を生かすために必要な特殊な、高度に最適化された計算カーネルが含まれていません。transformersを介してモデルを実行すると、このフレームワーク内の標準のフル精度モデルと同等または潜在的に劣る推論速度とエネルギー使用量になる可能性があります。

量子化された重みのためにメモリ使用量が減少することがありますが、この標準的なtransformersの使用パスでは主な計算効率の利点は得られません。

技術論文で示されている効率の利点を達成するには、専用のC++実装である bitnet.cpp を使用する必要があります。

📄 ライセンス

モデルの重みとコードは、MITライセンス の下で公開されています。

バイアス、リスク、および制限事項

予測結果は、学習データに含まれるバイアスを引き継ぐ可能性があります。

非英語言語や代表されていないドメインに対するサポートは限られています。

不正確または有害なコンテンツを生成するリスクがあります。

Bitnetモデルは、選挙に関するクリティカルなクエリに応答する際に欠陥率が高く、不正確または非公式の選挙関連情報が提示される可能性があります。私たちはこの領域でのモデルのパフォーマンスを改善するために取り組んでいます。ユーザーは選挙関連の情報を地域の選挙当局と照合する必要があります。

免責事項

私たちは、さらなるテストと開発なしにBitNet b1.58を商用または実世界のアプリケーションで使用することをおすすめしません。このモデルは研究および開発目的で意図されています。SFTとDPOを使用して調整する努力がなされていますが、予期せぬ、バイアスのある、または不正確な出力を生成する可能性があります。責任を持って使用してください。