Bitnet B1 58 Large
BitNet b1.58是一種1位大語言模型,參數規模為30億,使用RedPajama數據集訓練了1000億個token。
Downloads 10.17k
Release Time : 3/29/2024
Model Overview
該模型是1位量化的大語言模型,旨在提供高效的推理性能,同時保持與傳統浮點模型相當的準確率。
Model Features
1位量化
模型權重和激活值僅使用1位表示,大幅降低內存佔用和計算需求。
高效推理
相比傳統浮點模型,1位量化顯著提升了推理效率。
性能保持
在保持模型性能接近全精度模型的同時實現量化。
兩階段訓練
採用論文建議的兩階段學習率和權重衰減策略進行訓練。
Model Capabilities
文本生成
語言理解
零樣本學習
Use Cases
自然語言處理
問答系統
可用於構建高效的問答系統
在ARC等問答基準測試中表現良好
文本生成
可用於各種文本生成任務
在困惑度指標上接近全精度模型
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers Supports Multiple Languages

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers English

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 Chinese
R
uer
2,694
98