LFM2 1.2B

🚀 LFM2-1.2B

LFM2 是由 Liquid AI 開發的新一代混合模型，專為邊緣 AI 和設備端部署而設計。它在質量、速度和內存效率方面樹立了新的標準。

🚀 快速開始

LFM2 作為新一代混合模型，為邊緣 AI 和設備端部署帶來了革新。我們發佈了三個經過後續訓練的檢查點權重，參數分別為 3.5 億、7 億和 12 億。這些模型為創建 AI 驅動的邊緣應用提供了關鍵特性。

✨ 主要特性

• 快速訓練與推理：與上一代模型相比，LFM2 的訓練速度提高了 3 倍。在 CPU 上，其解碼和預填充速度比 Qwen3 快 2 倍。
• 卓越性能：在多個基準測試類別中，包括知識、數學、指令遵循和多語言能力，LFM2 的表現優於同等規模的模型。
• 全新架構：LFM2 是一種新型混合 Liquid 模型，採用了乘法門和短卷積。
• 靈活部署：LFM2 可在 CPU、GPU 和 NPU 硬件上高效運行，便於在智能手機、筆記本電腦或車輛上靈活部署。

你可以在我們的 博客文章 中瞭解更多關於 LFM2 的信息。

📦 安裝指南

你可以使用 transformers 和 llama.cpp 運行 LFM2，對 vLLM 的支持也即將推出。

1. Transformers

要運行 LFM2，你需要從源代碼安裝 Hugging Face 的 transformers（版本 v4.54.0.dev0）。你可以使用以下命令進行更新或安裝：

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

2. Llama.cpp

你可以使用 llama.cpp 及其 GGUF 檢查點 運行 LFM2。更多信息請查看模型卡片。

💻 使用示例

基礎用法

以下是一個使用 transformers 在 Python 中生成答案的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載模型和分詞器
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消註釋
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 生成答案
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>user
# What is C. elegans?<|im_end|>
# <|im_start|>assistant
# C. elegans, also known as Caenorhabditis elegans, is a small, free-living
# nematode worm (roundworm) that belongs to the phylum Nematoda.

你可以使用這個 Colab 筆記本 直接運行和測試模型。

📚 詳細文檔

模型詳情

由於模型規模較小，我們建議在特定用例上對 LFM2 模型進行微調，以最大化性能。它們特別適用於代理任務、數據提取、RAG、創意寫作和多輪對話。然而，我們不建議將其用於知識密集型或需要編程技能的任務。

支持的語言：英語、阿拉伯語、中文、法語、德語、日語、韓語和西班牙語。

生成參數：我們建議使用以下參數：

• temperature=0.3
• min_p=0.15
• repetition_penalty=1.05

聊天模板：LFM2 使用類似 ChatML 的聊天模板，如下所示：

<|startoftext|><|im_start|>system
You are a helpful assistant trained by Liquid AI.<|im_end|>
<|im_start|>user
What is C. elegans?<|im_end|>
<|im_start|>assistant
It's a tiny nematode that lives in temperate soil environments.<|im_end|>

你可以使用 Hugging Face transformers 中的專用 .apply_chat_template() 函數來應用它。

工具使用：它包括四個主要步驟：

1. 函數定義：LFM2 將 JSON 函數定義作為輸入（<|tool_list_start|> 和 <|tool_list_end|> 特殊標記之間的 JSON 對象），通常在系統提示中。
2. 函數調用：LFM2 編寫 Python 風格的函數調用（<|tool_call_start|> 和 <|tool_call_end|> 特殊標記之間的 Python 列表），作為助手的回答。
3. 函數執行：執行函數調用並返回結果（<|tool_response_start|> 和 <|tool_response_end|> 特殊標記之間的字符串），作為“工具”角色。
4. 最終答案：LFM2 解釋函數調用的結果，以純文本形式回答原始用戶提示。

以下是一個使用工具的簡單對話示例：

<|startoftext|><|im_start|>system
List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieves the current status of a candidate in the recruitment process", "parameters": {"type": "object", "properties": {"candidate_id": {"type": "string", "description": "Unique identifier for the candidate"}}, "required": ["candidate_id"]}}]<|tool_list_end|><|im_end|>
<|im_start|>user
What is the current status of candidate ID 12345?<|im_end|>
<|im_start|>assistant
<|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the current status of candidate ID 12345.<|im_end|>
<|im_start|>tool
<|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Clinical Research Associate", "date": "2023-11-20"}<|tool_response_end|><|im_end|>
<|im_start|>assistant
The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position of Clinical Research Associate, with an interview date set for 2023-11-20.<|im_end|>

架構：混合模型，採用乘法門和短卷積：10 個雙門短程 LIV 卷積塊和 6 個分組查詢注意力（GQA）塊。

預訓練數據混合：約 75% 的英語數據、20% 的多語言數據和 5% 的代碼數據，來源於網絡和授權材料。

訓練方法：

• 使用 LFM1-7B 作為教師模型進行知識蒸餾。
• 在 50% 的下游任務和 50% 的通用領域上進行大規模 SFT。
• 採用自定義 DPO，進行長度歸一化和半在線數據集訓練。
• 迭代模型合併。

🔧 技術細節

我們建議在特定用例上對 LFM2 模型進行微調，以最大化性能。以下是一些微調的筆記本鏈接：

筆記本	描述	鏈接
SFT + LoRA	在 TRL 中使用 LoRA 適配器進行監督微調（SFT）的筆記本。
DPO	在 TRL 中使用直接偏好優化（DPO）進行偏好對齊。

📈 性能

LFM2 在不同的評估類別中表現優於同等規模的模型。

1. 自動基準測試

2. LLM 作為評判

3. 推理

ExecuTorch 中 CPU 上的吞吐量比較

Llama.cpp 中 CPU 上的吞吐量比較

📄 許可證

本項目採用 LFM 開放許可證 v1.0。你可以在 LICENSE 中查看完整的許可證信息。

📬 聯繫我們

如果你對邊緣部署的定製解決方案感興趣，請聯繫 我們的銷售團隊。