# 高效语言模型

OpenELM是由苹果公司推出的高效语言模型系列，采用分层缩放策略优化参数分配，提供270M至3B不同规模的预训练及指令调优模型。

采用闪存线性注意力（flash-linear attention）格式的RWKV-7模型，支持英语文本生成任务。

BitNet b1.58 是一种1.58位量化的大型语言模型，通过降低权重精度来减少计算资源需求，同时保持接近全精度模型的性能。

OpenELM是一组开源高效语言模型，采用分层参数分配策略提升模型精度，包含2.7亿至30亿参数的预训练及指令调优版本。

OpenELM是一组开源高效语言模型，采用分层缩放策略在Transformer模型的每一层中高效分配参数，从而提升模型精度。

OpenELM是一组开源高效语言模型，采用分层缩放策略优化参数分配，包含2.7亿至30亿参数的预训练及指令调优版本。

OpenELM是一组开源高效语言模型，采用分层缩放策略优化参数分配，提升模型准确率。包含270M、450M、1.1B和3B四种参数规模，提供预训练和指令调优版本。

OpenELM是一组开放的高效语言模型，采用分层缩放策略优化参数分配，提升模型精度。提供2.7亿至30亿参数的预训练及指令调优版本。

OpenELM是一组开源高效语言模型，采用分层缩放策略在Transformer模型的每一层中高效分配参数，提升准确性。

基于RetNet架构与Transformer混合的线性计算成本推理模型，通过跨架构迁移学习实现

该模型是在wikitext数据集上对TinyBERT_L-4_H-312_v2进行微调的版本，主要用于文本相关任务。