LFM2 1.2B GGUF

🚀 LFM2-1.2B

LFM2 是由 Liquid AI 開發的新一代混合模型，專為邊緣 AI 和設備端部署而設計。它在質量、速度和內存效率方面樹立了新的標準。

我們發佈了三個經過後續訓練的檢查點權重，參數分別為 3.5 億、7 億和 12 億。它們為創建人工智能驅動的邊緣應用程序提供了以下關鍵特性：

• 快速訓練和推理：與上一代相比，LFM2 的訓練速度提高了 3 倍。與 Qwen3 相比，它在 CPU 上的解碼和預填充速度也提高了 2 倍。
• 卓越性能：在多個基準測試類別中，包括知識、數學、指令遵循和多語言能力，LFM2 的表現優於同等規模的模型。
• 全新架構：LFM2 是一種新型的混合 Liquid 模型，具有乘法門和短卷積。
• 靈活部署：LFM2 可以在 CPU、GPU 和 NPU 硬件上高效運行，可靈活部署在智能手機、筆記本電腦或車輛上。

在我們的 博客文章 中瞭解更多關於 LFM2 的信息。

🚀 快速開始

運行模型

要運行 LFM2，你需要從源代碼安裝 Hugging Face 的 transformers（v4.54.0.dev0）。你可以使用以下命令進行更新或安裝：

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

以下是一個在 Python 中使用 transformers 生成答案的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載模型和分詞器
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消註釋
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 生成答案
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>user
# What is C. elegans?<|im_end|>
# <|im_start|>assistant
# C. elegans, also known as Caenorhabditis elegans, is a small, free-living
# nematode worm (roundworm) that belongs to the phylum Nematoda.

你可以使用這個 Colab 筆記本 直接運行和測試模型。

微調模型

我們建議針對特定用例對 LFM2 模型進行微調，以最大化其性能。

筆記本	描述	鏈接
SFT + LoRA	在 TRL 中使用 LoRA 適配器進行監督微調（SFT）的筆記本。
DPO	在 TRL 中使用直接偏好優化（DPO）進行偏好對齊。

✨ 主要特性

• 快速訓練和推理：LFM2 實現了比上一代快 3 倍的訓練速度，在 CPU 上的解碼和預填充速度比 Qwen3 快 2 倍。
• 卓越性能：在多個基準測試類別中，包括知識、數學、指令遵循和多語言能力，表現優於同等規模的模型。
• 全新架構：採用了具有乘法門和短卷積的新型混合 Liquid 模型架構。
• 靈活部署：可以在 CPU、GPU 和 NPU 硬件上高效運行，支持在智能手機、筆記本電腦或車輛等設備上靈活部署。

📦 安裝指南

運行 LFM2 需要從源代碼安裝 Hugging Face 的 transformers 庫，可使用以下命令：

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加載模型和分詞器
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消註釋
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 生成答案
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

📚 詳細文檔

模型詳情

由於模型規模較小，我們建議在特定用例上對 LFM2 模型進行微調，以最大化性能。它們特別適用於代理任務、數據提取、RAG、創意寫作和多輪對話。然而，我們不建議將其用於知識密集型任務或需要編程技能的任務。

支持的語言：英語、阿拉伯語、中文、法語、德語、日語、韓語和西班牙語。

生成參數：我們建議使用以下參數：

• temperature=0.3
• min_p=0.15
• repetition_penalty=1.05

聊天模板：LFM2 使用類似 ChatML 的聊天模板，示例如下：

<|startoftext|><|im_start|>system
You are a helpful assistant trained by Liquid AI.<|im_end|>
<|im_start|>user
What is C. elegans?<|im_end|>
<|im_start|>assistant
It's a tiny nematode that lives in temperate soil environments.<|im_end|>

你可以使用 Hugging Face transformers 中的 .apply_chat_template() 函數來應用該模板。

工具使用：它包括四個主要步驟：

1. 函數定義：LFM2 將 JSON 函數定義作為輸入（<|tool_list_start|> 和 <|tool_list_end|> 特殊標記之間的 JSON 對象），通常在系統提示中。
2. 函數調用：LFM2 編寫 Python 風格的函數調用（<|tool_call_start|> 和 <|tool_call_end|> 特殊標記之間的 Python 列表），作為助手的回答。
3. 函數執行：執行函數調用並返回結果（<|tool_response_start|> 和 <|tool_response_end|> 特殊標記之間的字符串），作為“工具”角色。
4. 最終答案：LFM2 解釋函數調用的結果，以純文本形式回答原始用戶提示。

以下是一個使用工具的簡單對話示例：

<|startoftext|><|im_start|>system
List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieves the current status of a candidate in the recruitment process", "parameters": {"type": "object", "properties": {"candidate_id": {"type": "string", "description": "Unique identifier for the candidate"}}, "required": ["candidate_id"]}}]<|tool_list_end|><|im_end|>
<|im_start|>user
What is the current status of candidate ID 12345?<|im_end|>
<|im_start|>assistant
<|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the current status of candidate ID 12345.<|im_end|>
<|im_start|>tool
<|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Clinical Research Associate", "date": "2023-11-20"}<|tool_response_end|><|im_end|>
<|im_start|>assistant
The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position of Clinical Research Associate, with an interview date set for 2023-11-20.<|im_end|>

架構：具有乘法門和短卷積的混合模型，包括 10 個雙門短程 LIV 卷積塊和 6 個分組查詢注意力（GQA）塊。

預訓練數據混合：大約 75% 的英語數據、20% 的多語言數據和 5% 的代碼數據，來源於網絡和許可材料。

訓練方法：

• 使用 LFM1-7B 作為教師模型進行知識蒸餾。
• 在 50% 的下游任務和 50% 的通用領域上進行大規模的監督微調（SFT）。
• 使用帶有長度歸一化和半在線數據集的自定義直接偏好優化（DPO）。
• 迭代模型合併。

🔧 技術細節

架構

LFM2 採用了具有乘法門和短卷積的新型混合 Liquid 模型架構，包含 10 個雙門短程 LIV 卷積塊和 6 個分組查詢注意力（GQA）塊。

預訓練數據

預訓練數據混合了大約 75% 的英語數據、20% 的多語言數據和 5% 的代碼數據，這些數據來源於網絡和許可材料。

訓練方法

• 知識蒸餾：使用 LFM1-7B 作為教師模型進行知識蒸餾。
• 監督微調（SFT）：在 50% 的下游任務和 50% 的通用領域上進行大規模的監督微調。
• 直接偏好優化（DPO）：使用帶有長度歸一化和半在線數據集的自定義 DPO 方法。
• 迭代模型合併：通過迭代模型合併來優化模型性能。

📈 性能

1. 自動化基準測試

2. LLM-as-a-Judge

3. 推理

ExecuTorch 中 CPU 上的吞吐量比較

Llama.cpp 中 CPU 上的吞吐量比較

📄 許可證

本模型使用 LFM 開放許可證 v1.0，具體許可證信息請參考 LICENSE。

📬 聯繫我們

如果您對邊緣部署的定製解決方案感興趣，請聯繫 我們的銷售團隊。

⚠️ 重要提示 包含我們的 聊天模板修復！
對於 llama.cpp，請使用 --jinja

💡 使用建議 由於模型規模較小，建議在特定用例上對 LFM2 模型進行微調，以最大化性能。不建議將其用於知識密集型任務或需要編程技能的任務。