Bitnet B1 58 Xl

🚀 BitNet b1.58再現プロジェクト

このプロジェクトは、 BitNet b1.58 論文の再現です。モデルは RedPajamaデータセット を用いて100Bトークンで学習されています。ハイパーパラメータ、二段階学習率、および重み減衰は、彼らの論文で提案されている通りに実装されています。すべてのモデルは リポジトリ でオープンソースとして公開されています。リソースが許す限り、より大きなモデルやより多くのトークンでの学習を行う予定です。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📊 結果

PPLとゼロショット精度：

報告された数値と再現結果の差は、学習データの処理、乱数シード、またはその他のランダムな要因によるバリアンスが原因である可能性があります。

🧪 評価

評価パイプラインは論文の著者によるものです。以下は評価を実行するためのコマンドです。

🔧 環境構築

pip install lm-eval==0.3.0

📊 PPL評価

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

📋 タスク評価

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048