Ling Lite 1.5

🚀 Ling

Lingは、InclusionAIによって提供されオープンソース化されたMoE LLMです。このモデルには、Ling-liteとLing-plusの2種類のサイズがあります。Ling-liteは168億のパラメータを持ち、そのうち27.5億のパラメータが活性化されます。一方、Ling-plusは2900億のパラメータを持ち、288億のパラメータが活性化されます。どちらのモデルも、業界内の既存モデルと比較して印象的なパフォーマンスを示しています。

論文

🤗 Hugging Face

🚀 クイックスタート

🤗 Hugging Face Transformers

以下は、transformersを使用してチャットモデルを使う方法を示すコードスニペットです。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "inclusionAI/Ling-lite-1.5"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language models."
messages = [
    {"role": "system", "content": "You are Ling, an assistant created by inclusionAI"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主な機能

Lingは、InclusionAIによって提供されオープンソース化されたMoE LLMです。2種類のサイズ、Ling-liteとLing-plusを導入しています。その構造により、スケールアップやスケールダウンが容易で、様々なタスクに適応できます。ユーザーは、自然言語の処理から複雑な問題の解決まで、幅広いタスクにこれらのモデルを使用できます。さらに、Lingのオープンソース性は、AIコミュニティ内での協力と革新を促進し、多様なユースケースと機能強化を生み出します。

📦 モデルのダウンロード

以下の表を参照して、あなたのユースケースに適した様々なパラメータを確認できます。中国本土にいる場合は、ダウンロードプロセスを高速化するために、ModelScope.cnでもモデルを提供しています。

📚 ドキュメント

評価

コンテキストウィンドウ

Needle In A Haystack (NIAH)テストの評価結果です。Ling-Lite-1.5は、長文生成能力が向上しており、最大128Kまでのほとんどのコンテキストウィンドウ長で良好なパフォーマンスを発揮します。

デプロイメント

詳細はGithubを参照してください。

📄 ライセンス

このコードリポジトリは、MITライセンスの下でライセンスされています。

引用

もし私たちの研究が役に立った場合は、ぜひ引用してください。

@article{ling,
    title   = {Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs}, 
    author  = {Ling Team},
    journal = {arXiv preprint arXiv:2503.05139},
    year    = {2025}
}