# 語言模型

BitNet b1.58是一種1位大語言模型，參數規模為30億，使用RedPajama數據集訓練了1000億個token。

BitNet b1.58是一種1.58位量化的大語言模型，通過量化權重到{-1,0,1}三值實現高效推理。該模型復現了原論文結果，在RedPajama數據集上訓練了1000億token。

該模型是基於GroNLP/gpt2-small-italian微調的版本，適用於意大利語文本生成任務。

基於GPT-2架構在wikitext2數據集上微調的語言模型

這是一個支持葡萄牙語的模型，具體功能和用途未明確說明。

ERNIE 3.0是一個面向語言理解與生成的大規模知識增強預訓練模型，由百度開發。

這是一個基於srWaC預訓練的塞爾維亞語（西裡爾字母和拉丁字母）RoBERTa模型，適用於下游任務微調。

PERT是一個基於BERT的中文預訓練模型，專注於提升中文文本處理能力。

KoELECTRA是一個基於ELECTRA架構的韓語預訓練語言模型，由monologg開發。該模型作為生成器部分，專注於韓語文本的表示學習。

該模型是基於bert-base-cased在wikitext2數據集上微調的版本，主要用於文本處理任務。