B

Bitnet B1 58 Large

Developed by 1bitLLM
BitNet b1.58是一種1位大語言模型,參數規模為30億,使用RedPajama數據集訓練了1000億個token。
Downloads 10.17k
Release Time : 3/29/2024

Model Overview

該模型是1位量化的大語言模型,旨在提供高效的推理性能,同時保持與傳統浮點模型相當的準確率。

Model Features

1位量化
模型權重和激活值僅使用1位表示,大幅降低內存佔用和計算需求。
高效推理
相比傳統浮點模型,1位量化顯著提升了推理效率。
性能保持
在保持模型性能接近全精度模型的同時實現量化。
兩階段訓練
採用論文建議的兩階段學習率和權重衰減策略進行訓練。

Model Capabilities

文本生成
語言理解
零樣本學習

Use Cases

自然語言處理
問答系統
可用於構建高效的問答系統
在ARC等問答基準測試中表現良好
文本生成
可用於各種文本生成任務
在困惑度指標上接近全精度模型
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase