# 20亿参数

微软研究院开发的首个开源20亿参数规模原生1比特大语言模型，在4万亿token语料上训练完成，证明了原生1比特大语言模型在保持与同规模全精度开源模型相当性能的同时，能显著提升计算效率。

Salesforce研究院开发的通用型嵌入模型，适用于多语言和多任务的代码与文本检索，在多项代码检索任务中表现卓越。