LFM2 1.2B

🚀 LFM2-1.2B

LFM2は、Liquid AIによって開発された次世代のハイブリッドモデルで、エッジAIとデバイス上でのデプロイメントに特化しています。品質、速度、メモリ効率の面で新しい基準を設定しています。

350M、700M、および1.2Bのパラメータを持つ3つの事後学習チェックポイントの重みを公開しています。これらは、AIを搭載したエッジアプリケーションを作成するための以下の主要な機能を提供します。

• 高速な学習と推論 – LFM2は、前世代と比較して3倍高速な学習を実現します。また、CPU上でQwen3と比較して2倍高速なデコードとプリフィル速度を実現します。
• 最高のパフォーマンス – LFM2は、知識、数学、命令追従、多言語能力を含む複数のベンチマークカテゴリで、同規模のモデルを上回るパフォーマンスを発揮します。
• 新しいアーキテクチャ – LFM2は、乗算ゲートと短い畳み込みを備えた新しいハイブリッドLiquidモデルです。
• 柔軟なデプロイメント – LFM2は、CPU、GPU、およびNPUハードウェア上で効率的に動作し、スマートフォン、ラップトップ、または車両での柔軟なデプロイメントが可能です。

LFM2に関する詳細情報は、ブログ記事をご覧ください。

🚀 クイックスタート

LFM2をtransformersとllama.cppで実行できます。vLLMのサポートも間もなく追加されます。

1. Transformers

LFM2を実行するには、ソースからHugging Faceのtransformersをインストールする必要があります（v4.54.0.dev0）。以下のコマンドで更新またはインストールできます。

pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"

以下は、Pythonでtransformersを使用して回答を生成する例です。

from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザーをロード
model_id = "LiquidAI/LFM2-1.2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
    trust_remote_code=True,
#    attn_implementation="flash_attention_2" <- 互換性のあるGPUではコメントを外す
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 回答を生成
prompt = "What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>user
# What is C. elegans?<|im_end|>
# <|im_start|>assistant
# C. elegans, also known as Caenorhabditis elegans, is a small, free-living
# nematode worm (roundworm) that belongs to the phylum Nematoda.

このColabノートブックで直接モデルを実行してテストできます。

2. Llama.cpp

GGUFチェックポイントを使用して、llama.cppでLFM2を実行できます。詳細情報はモデルカードを参照してください。

✨ 主な機能

• 高速な学習と推論：前世代と比べて3倍高速な学習を実現し、CPU上でQwen3よりも2倍高速なデコードとプリフィル速度を持つ。
• 最高のパフォーマンス：複数のベンチマークカテゴリで同規模のモデルを上回る。
• 新しいアーキテクチャ：乗算ゲートと短い畳み込みを備えたハイブリッドモデル。
• 柔軟なデプロイメント：CPU、GPU、NPUハードウェアで効率的に動作し、様々なデバイスに柔軟にデプロイできる。

📦 インストール

上述の「クイックスタート」で説明した通り、transformersやllama.cppを用いてLFM2を実行するためのインストール手順があります。

📚 ドキュメント

📄 モデルの詳細

サイズが小さいため、LFM2モデルを狭いユースケースでファインチューニングすることを推奨します。これにより、パフォーマンスを最大化できます。 これらは、エージェントタスク、データ抽出、RAG、創造的な文章作成、および複数ターンの会話に特に適しています。ただし、知識が豊富なタスクやプログラミングスキルを必要とするタスクには使用しないことをお勧めします。

サポートされる言語：英語、アラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、およびスペイン語。

生成パラメータ：以下のパラメータを推奨します。

• temperature=0.3
• min_p=0.15
• repetition_penalty=1.05

チャットテンプレート：LFM2は、次のようなChatMLに似たチャットテンプレートを使用します。

<|startoftext|><|im_start|>system
You are a helpful assistant trained by Liquid AI.<|im_end|>
<|im_start|>user
What is C. elegans?<|im_end|>
<|im_start|>assistant
It's a tiny nematode that lives in temperate soil environments.<|im_end|>

Hugging Faceのtransformersの専用の.apply_chat_template()関数を使用して適用できます。

ツールの使用：主に4つのステップで構成されます。

1. 関数定義：LFM2は、JSON関数定義を入力として受け取ります（<|tool_list_start|>と<|tool_list_end|>の特殊トークン間のJSONオブジェクト）。通常、システムプロンプトに記述します。
2. 関数呼び出し：LFM2は、Python風の関数呼び出しを記述します（<|tool_call_start|>と<|tool_call_end|>の特殊トークン間のPythonリスト）。これは、アシスタントの回答として出力されます。
3. 関数実行：関数呼び出しが実行され、結果が返されます（<|tool_response_start|>と<|tool_response_end|>の特殊トークン間の文字列）。これは、「ツール」ロールとして扱われます。
4. 最終回答：LFM2は、関数呼び出しの結果を解釈し、元のユーザープロンプトに対する回答を平文で返します。

以下は、ツールを使用した会話の簡単な例です。

<|startoftext|><|im_start|>system
List of tools: <|tool_list_start|>[{"name": "get_candidate_status", "description": "Retrieves the current status of a candidate in the recruitment process", "parameters": {"type": "object", "properties": {"candidate_id": {"type": "string", "description": "Unique identifier for the candidate"}}, "required": ["candidate_id"]}}]<|tool_list_end|><|im_end|>
<|im_start|>user
What is the current status of candidate ID 12345?<|im_end|>
<|im_start|>assistant
<|tool_call_start|>[get_candidate_status(candidate_id="12345")]<|tool_call_end|>Checking the current status of candidate ID 12345.<|im_end|>
<|im_start|>tool
<|tool_response_start|>{"candidate_id": "12345", "status": "Interview Scheduled", "position": "Clinical Research Associate", "date": "2023-11-20"}<|tool_response_end|><|im_end|>
<|im_start|>assistant
The candidate with ID 12345 is currently in the "Interview Scheduled" stage for the position of Clinical Research Associate, with an interview date set for 2023-11-20.<|im_end|>

アーキテクチャ：乗算ゲートと短い畳み込みを備えたハイブリッドモデル。10個のダブルゲート短距離LIV畳み込みブロックと6個のグループ化クエリアテンション（GQA）ブロックで構成されています。

事前学習データの混合：約75％の英語、20％の多言語、および5％のコードデータが、ウェブとライセンス付きの資料から収集されています。

学習アプローチ：

• LFM1-7Bを教師モデルとして使用した知識蒸留
• 50％の下流タスクと50％の一般ドメインでの非常に大規模なSFT
• 長さ正規化と半オンラインデータセットを使用したカスタムDPO
• 反復的なモデルマージ

🔧 LFM2のファインチューニング方法

パフォーマンスを最大化するために、LFM2モデルをユースケースに合わせてファインチューニングすることを推奨します。

ノートブック	説明	リンク
SFT + LoRA	TRLでLoRAアダプターを使用した教師付きファインチューニング（SFT）ノートブック。
DPO	TRLで直接嗜好最適化（DPO）を使用した嗜好アライメント。

📈 パフォーマンス

LFM2は、さまざまな評価カテゴリで同規模のモデルを上回るパフォーマンスを発揮します。

1. 自動ベンチマーク

2. LLM-as-a-Judge

3. 推論

ExecuTorchでのCPU上のスループット比較

Llama.cppでのCPU上のスループット比較

📄 ライセンス

LFM2は、LFM Open License v1.0の下で提供されています。詳細はLICENSEを参照してください。

📬 お問い合わせ

エッジデプロイメントを伴うカスタムソリューションに興味がある場合は、営業チームまでお問い合わせください。