Bitnet B1 58 Large

🚀 BitNet b1.58再現プロジェクト

このプロジェクトは、 BitNet b1.58 論文の再現を目的としています。モデルは RedPajamaデータセット を用いて100Bトークンで学習されています。ハイパーパラメータ、二段階学習率、および重み減衰は、彼らの論文で提案されている通りに実装されています。すべてのモデルは リポジトリ でオープンソースとして公開されています。リソースが許す限り、より大規模なモデルやより多くのトークンでの学習を行う予定です。

📚 詳細ドキュメント

🔍 結果

PPLとゼロショット精度:

報告された数値と再現結果の差は、学習データの処理、シード、またはその他のランダムな要因によるバリエーションである可能性があります。

💻 評価

評価パイプラインは論文の著者によるものです。以下は評価を実行するためのコマンドです。

pip install lm-eval==0.3.0

python eval_ppl.py --hf_path 1bitLLM/bitnet_b1_58-3B --seqlen 2048

python eval_task.py --hf_path 1bitLLM/bitnet_b1_58-3B \
    --batch_size 1 \
    --tasks \
    --output_path result.json \
    --num_fewshot 0 \
    --ctx_size 2048

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。