# 多领域文本理解

基于RoBERTa架构的哈萨克语语言模型，采用RobertaForMaskedLM从头训练而成，适用于哈萨克语文本处理任务。

Nanbeige-16B是由南贝格大模型实验室开发的160亿参数语言模型，采用2.5万亿token进行预训练，支持中文和英文。

TahrirchiBERT-base是一个乌兹别克语（拉丁字母）的仅编码器Transformer文本模型，拥有1.1亿参数，通过掩码语言建模目标预训练。

基于256k词嵌入的DistilBERT模型，通过MLM训练优化词向量

DistilBERT 是 BERT 的轻量级蒸馏版本，保留了大部分性能但参数更少。