Ling Lite 1.5

🚀 Ling大语言模型

Ling是由InclusionAI提供并开源的混合专家（MoE）大语言模型。它有两种不同规模的版本，分别为Ling-lite和Ling-plus，在行业内现有模型中表现出色，能广泛应用于自然语言处理等各类任务。

📚 项目介绍

Ling是由InclusionAI提供并开源的MoE大语言模型。我们推出了两种不同规模的版本，分别是Ling-lite和Ling-plus。Ling-lite拥有168亿参数，其中激活参数为27.5亿；而Ling-plus则拥有2900亿参数，激活参数达288亿。与行业内现有模型相比，这两款模型都展现出了令人瞩目的性能。

它们的架构使得模型易于进行伸缩调整，以适应不同的任务。因此，用户可以将这些模型应用于广泛的任务中，从自然语言处理到解决复杂问题。此外，Ling的开源特性促进了人工智能社区的协作与创新，推动了多样化的用例和改进。

随着越来越多的开发者和研究人员参与到这个平台中，我们有望看到快速的进步和改进，从而催生更加复杂的应用。这种协作方式不仅加速了开发进程，还确保了模型始终处于技术前沿，能够应对各个领域出现的新挑战。

📦 模型下载

你可以参考以下表格，根据自身需求选择合适的模型参数。如果你位于中国大陆地区，我们也在ModelScope.cn上提供了模型，以加快下载速度。

📊 评估结果

上下文窗口

在“大海捞针”（NIAH）测试中的评估结果显示，Ling-Lite-1.5的长文本生成能力有所提升，在最长达128K的大多数上下文窗口长度下都表现良好。

💻 使用示例

基础用法

以下是一个使用transformers库调用聊天模型的代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "inclusionAI/Ling-lite-1.5"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language models."
messages = [
    {"role": "system", "content": "You are Ling, an assistant created by inclusionAI"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

⚙️ 部署说明

请参考Github获取详细的部署信息。

📄 许可证

本代码仓库遵循MIT许可证。

📚 引用信息

如果您觉得我们的工作有帮助，请引用以下文献：

@article{ling,
    title   = {Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs}, 
    author  = {Ling Team},
    journal = {arXiv preprint arXiv:2503.05139},
    year    = {2025}
}