Lucy

🚀 ルーシー：17億パラメータモデルによるモバイル端末でのエッジランニング型能動的ウェブ検索

ルーシーは、能動的なウェブ検索と軽量なブラウジングに特化したコンパクトで高性能な17億パラメータのモデルです。モバイルデバイス上でも効率的に動作し、CPUのみの環境でも十分な速度を発揮します。

著者: Alan Dao, Bach Vu Dinh, Alex Nguyen, Norapat Buppodom

🚀 クイックスタート

ルーシーは、Qwen3-1.7Bをベースに構築された、能動的なウェブ検索と軽量なブラウジングに特化したモデルです。モバイルデバイス上でも効率的に動作し、CPUのみの環境でも十分な速度を発揮します。

✨ 主な機能

• 🔍 強力な能動的検索機能：MCP対応ツール（例：Google検索を利用したSerper）によるサポート
• 🌐 基本的なブラウジング機能：Crawl4AI（近日公開予定のMCPサーバー）、Serperなどを通じて実現
• 📱 モバイル最適化：CPUまたはモバイルデバイス上でも十分な速度で動作する軽量モデル
• 🎯 特化した推論能力：機械生成タスクベクトルにより、検索タスクの思考プロセスが最適化されています。

🔧 技術詳細

ルーシーは、機械生成タスクベクトルを用いて思考プロセスを最適化し、複数カテゴリにわたる平滑な報酬関数を実現し、教師なし微調整を一切行わない純粋な強化学習によって構築されています。

📊 評価

Jan-Nano と Jan-Nano-128k と同じMCPベンチマーク手法に基づいて評価した結果、ルーシーはたった17億パラメータのモデルでありながら、SimpleQA でDeepSeek-v3よりも高い精度を達成しています。

💻 使用例

基本的な使用法

ルーシーは、vLLM、llama.cppなどの様々な方法でデプロイできます。また、Jan、LMStudioなどのローカルアプリケーションや、その他の互換性のある推論エンジンを通じても利用できます。モデルは、MCPを通じて検索APIやウェブブラウジングツールとの統合をサポートしています。

デプロイメント

VLLMを使用してデプロイする場合：

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes 

または、llama.cpp の llama-server を使用する場合：

llama-server ... 

推奨サンプリングパラメータ

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

🤝 コミュニティとサポート

• ディスカッション: HuggingFaceコミュニティ

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。詳細については、こちらを参照してください。

📄 引用

論文（近日公開予定）: Lucy: edgerunning agentic web search on mobile with machine generated task vectors.