# 多領域文本理解

基於RoBERTa架構的哈薩克語語言模型，採用RobertaForMaskedLM從頭訓練而成，適用於哈薩克語文本處理任務。

Nanbeige-16B是由南貝格大模型實驗室開發的160億參數語言模型，採用2.5萬億token進行預訓練，支持中文和英文。

TahrirchiBERT-base是一個烏茲別克語（拉丁字母）的僅編碼器Transformer文本模型，擁有1.1億參數，通過掩碼語言建模目標預訓練。

基於256k詞嵌入的DistilBERT模型，通過MLM訓練優化詞向量

DistilBERT 是 BERT 的輕量級蒸餾版本，保留了大部分性能但參數更少。