Ling Lite 1.5

🚀 Ling大語言模型

Ling是由InclusionAI提供並開源的混合專家（MoE）大語言模型。它有兩種不同規模的版本，分別為Ling-lite和Ling-plus，在行業內現有模型中表現出色，能廣泛應用於自然語言處理等各類任務。

📚 項目介紹

Ling是由InclusionAI提供並開源的MoE大語言模型。我們推出了兩種不同規模的版本，分別是Ling-lite和Ling-plus。Ling-lite擁有168億參數，其中激活參數為27.5億；而Ling-plus則擁有2900億參數，激活參數達288億。與行業內現有模型相比，這兩款模型都展現出了令人矚目的性能。

它們的架構使得模型易於進行伸縮調整，以適應不同的任務。因此，用戶可以將這些模型應用於廣泛的任務中，從自然語言處理到解決複雜問題。此外，Ling的開源特性促進了人工智能社區的協作與創新，推動了多樣化的用例和改進。

隨著越來越多的開發者和研究人員參與到這個平臺中，我們有望看到快速的進步和改進，從而催生更加複雜的應用。這種協作方式不僅加速了開發進程，還確保了模型始終處於技術前沿，能夠應對各個領域出現的新挑戰。

📦 模型下載

你可以參考以下表格，根據自身需求選擇合適的模型參數。如果你位於中國大陸地區，我們也在ModelScope.cn上提供了模型，以加快下載速度。

📊 評估結果

上下文窗口

在“大海撈針”（NIAH）測試中的評估結果顯示，Ling-Lite-1.5的長文本生成能力有所提升，在最長達128K的大多數上下文窗口長度下都表現良好。

💻 使用示例

基礎用法

以下是一個使用transformers庫調用聊天模型的代碼示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "inclusionAI/Ling-lite-1.5"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language models."
messages = [
    {"role": "system", "content": "You are Ling, an assistant created by inclusionAI"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

⚙️ 部署說明

請參考Github獲取詳細的部署信息。

📄 許可證

本代碼倉庫遵循MIT許可證。

📚 引用信息

如果您覺得我們的工作有幫助，請引用以下文獻：

@article{ling,
    title   = {Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs}, 
    author  = {Ling Team},
    journal = {arXiv preprint arXiv:2503.05139},
    year    = {2025}
}