LFM2 350M

🚀 LFM2-350M

LFM2は、Liquid AIによって開発された次世代のハイブリッドモデルで、エッジAIとデバイス上でのデプロイメントに特化しています。品質、速度、メモリ効率の面で新たな基準を設定しています。

当社では、3億5000万、7億、12億のパラメータを持つ3つの事後学習チェックポイントの重みを公開しています。これらは、AIを搭載したエッジアプリケーションを作成するために、以下の主要な機能を提供します。

• 高速な学習と推論 – LFM2は、前世代と比較して3倍高速な学習を実現します。また、CPU上でQwen3と比較して2倍高速なデコードとプリフィル速度を実現しています。
• 最高のパフォーマンス – LFM2は、知識、数学、命令追従、多言語能力など、複数のベンチマークカテゴリで同規模のモデルを上回るパフォーマンスを発揮します。
• 新しいアーキテクチャ – LFM2は、乗算ゲートと短い畳み込みを備えた新しいハイブリッドLiquidモデルです。
• 柔軟なデプロイメント – LFM2は、CPU、GPU、NPUハードウェア上で効率的に動作し、スマートフォン、ラップトップ、または車両での柔軟なデプロイメントが可能です。

LFM2に関する詳細情報は、ブログ記事を参照してください。

🚀 クイックスタート

LFM2は、transformersとllama.cppを使用して実行できます。vLLMのサポートも間もなく提供されます。

1. Transformers

LFM2を実行するには、ソースからHugging Faceのtransformers（v4.54.0.dev0）をインストールする必要があります。以下のコマンドで更新またはインストールできます。

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

以下は、Pythonでtransformersを使用して回答を生成する例です。

from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザーをロード
model_id = "LiquidAI/LFM2-350M"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 互換性のあるGPUではコメントを外す
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 回答を生成
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>user
# What is C. elegans?<|im_end|>
# <|im_start|>assistant
# C. elegans, also known as Caenorhabditis elegans, is a small, free-living
# nematode worm (roundworm) that belongs to the phylum Nematoda.

このColabノートブックを使用して、モデルを直接実行してテストすることができます。

2. Llama.cpp

LFM2は、GGUFチェックポイントを使用してllama.cppで実行できます。詳細情報は、モデルカードを参照してください。

✨ 主な機能

• 高速な学習と推論：前世代と比較して3倍高速な学習を実現し、CPU上でQwen3と比較して2倍高速なデコードとプリフィル速度を備える。
• 最高のパフォーマンス：知識、数学、命令追従、多言語能力などの複数のベンチマークカテゴリで同規模のモデルを上回る。
• 新しいアーキテクチャ：乗算ゲートと短い畳み込みを備えた新しいハイブリッドLiquidモデル。
• 柔軟なデプロイメント：CPU、GPU、NPUハードウェア上で効率的に動作し、スマートフォン、ラップトップ、車両での柔軟なデプロイメントが可能。

📦 インストール

LFM2を実行するには、ソースからHugging Faceのtransformers（v4.54.0.dev0）をインストールする必要があります。以下のコマンドで更新またはインストールできます。

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザーをロード
model_id = "LiquidAI/LFM2-350M"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 互換性のあるGPUではコメントを外す
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 回答を生成
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>user
# What is C. elegans?<|im_end|>
# <|im_start|>assistant
# C. elegans, also known as Caenorhabditis elegans, is a small, free-living
# nematode worm (roundworm) that belongs to the phylum Nematoda.

📚 ドキュメント

📄 モデル詳細

モデルサイズが小さいため、狭いユースケースでLFM2モデルをファインチューニングすることをお勧めします。これにより、パフォーマンスを最大化することができます。これらのモデルは、エージェントタスク、データ抽出、RAG、創作的な文章作成、マルチターン会話に特に適しています。ただし、知識が豊富なタスクやプログラミングスキルを必要とするタスクには使用しないことをお勧めします。

サポートされる言語：英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、スペイン語。

生成パラメータ：以下のパラメータをお勧めします。

• temperature=0.3
• min_p=0.15
• repetition_penalty=1.05

チャットテンプレート：LFM2は、以下のようなChatMLに似たチャットテンプレートを使用します。

<|startoftext|><|im_start|>system
You are a helpful assistant trained by Liquid AI.<|im_end|>
<|im_start|>user
What is C. elegans?<|im_end|>
<|im_start|>assistant
It's a tiny nematode that lives in temperate soil environments.<|im_end|>

これは、Hugging Faceのtransformersの専用の.apply_chat_template()関数を使用して適用できます。

ツールの使用：主に4つのステップで構成されています。

1. 関数定義：LFM2は、JSON関数定義を入力として受け取ります（<|tool_list_start|>と<|tool_list_end|>の特殊トークンの間のJSONオブジェクト）。通常、これはシステムプロンプトに含まれます。
2. 関数呼び出し：LFM2は、Python風の関数呼び出しを記述します（<|tool_call_start|>と<|tool_call_end|>の特殊トークンの間のPythonリスト）。これは、アシスタントの回答として出力されます。
3. 関数実行：関数呼び出しが実行され、結果が返されます（<|tool_response_start|>と<|tool_response_end|>の特殊トークンの間の文字列）。これは、「ツール」ロールとして返されます。
4. 最終回答：LFM2は、関数呼び出しの結果を解釈し、元のユーザープロンプトに対する回答を平文で返します。

以下は、ツールを使用した会話の簡単な例です。

<|startoftext|><|im_start|>system
List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieves the current status of a candidate in the recruitment process", "parameters": {"type": "object", "properties": {"candidate_id": {"type": "string", "description": "Unique identifier for the candidate"}}, "required": ["candidate_id"]}}]<|tool_list_end|><|im_end|>
<|im_start|>user
What is the current status of candidate ID 12345?<|im_end|>
<|im_start|>assistant
<|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the current status of candidate ID 12345.<|im_end|>
<|im_start|>tool
<|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Clinical Research Associate", "date": "2023-11-20"}<|tool_response_end|><|im_end|>
<|im_start|>assistant
The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position of Clinical Research Associate, with an interview date set for 2023-11-20.<|im_end|>

アーキテクチャ：乗算ゲートと短い畳み込みを備えたハイブリッドモデル。10個のダブルゲート短距離LIV畳み込みブロックと6個のグループ化クエリアテンション（GQA）ブロック。

事前学習データの混合：約75％の英語、20％の多言語、および5％のコードデータ。これらはウェブとライセンス付きの資料から収集されています。

学習アプローチ：

• LFM1-7Bを教師モデルとして使用した知識蒸留
• 50％の下流タスクと50％の一般ドメインでの大規模なSFT
• 長さ正規化と半オンラインデータセットを使用したカスタムDPO
• 反復的なモデルマージ

🔧 LFM2のファインチューニング方法

パフォーマンスを最大化するために、LFM2モデルをあなたのユースケースに合わせてファインチューニングすることをお勧めします。

ノートブック	説明	リンク
SFT + LoRA	TRLでLoRAアダプターを使用した教師付きファインチューニング（SFT）ノートブック。
DPO	TRLで直接嗜好最適化（DPO）を使用した嗜好アライメント。

📈 パフォーマンス

LFM2は、さまざまな評価カテゴリで同規模のモデルを上回るパフォーマンスを発揮します。

1. 自動ベンチマーク

2. LLM-as-a-Judge

3. 推論

ExecuTorchでのCPUスループット比較

Llama.cppでのCPUスループット比較

📄 ライセンス

このモデルは、LFM Open License v1.0の下で提供されています。詳細は、ライセンスファイルを参照してください。

📬 お問い合わせ

エッジデプロイメントを伴うカスタムソリューションに興味がある場合は、営業チームにお問い合わせください。