Bitnet B1 58 Xl Q8 0 Gguf

🚀 BitNet b1.58 論文復現項目

本項目是對 BitNet b1.58 論文的復現。模型使用 RedPajama 數據集 進行了 100B 詞元的訓練。超參數、兩階段學習率和權重衰減的實現均參考了他們後續 論文 中的建議。所有模型均在 倉庫 中開源。在資源允許的情況下，我們將訓練更大規模的模型或使用更多的詞元進行訓練。

✨ 主要特性

• 復現了 BitNet b1.58 論文中的模型。
• 使用 RedPajama 數據集進行訓練。
• 所有模型開源。

📚 詳細文檔

結果

困惑度（PPL）和零樣本準確率：

報告值和復現結果之間的差異可能源於訓練數據處理、隨機種子或其他隨機因素。

評估

你現在可以使用 llama.cpp 運行該模型。

📄 許可證

本項目採用 MIT 許可證。