Bitnet B1 58 Xl Q8 0 Gguf

🚀 BitNet b1.58 論文再現プロジェクト

このプロジェクトは、BitNet b1.58 論文の再現です。モデルは RedPajama データセット を使用して、100B トークンで訓練されています。ハイパーパラメータ、2段階学習率、および重み減衰の実装は、彼らの後続の 論文 の提案を参考にしています。すべてのモデルは リポジトリ でオープンソースとして公開されています。リソースが許す限り、より大規模なモデルを訓練するか、より多くのトークンで訓練を行う予定です。

✨ 主な機能

• BitNet b1.58 論文のモデルを再現しました。
• RedPajama データセットを使用して訓練しています。
• すべてのモデルがオープンソースです。

📚 ドキュメント

結果

パープレキシティ（PPL）とゼロショット正解率：

報告値と再現結果の差異は、訓練データの処理、ランダムシード、またはその他のランダム要因によるものである可能性があります。

評価

現在、llama.cpp を使用してこのモデルを実行することができます。

📄 ライセンス

このプロジェクトは MIT ライセンスの下で提供されています。