Lucy 128k

🚀 Lucy: 17億パラメータモデルによるモバイル端末でのエッジランニング型エージェントウェブ検索

Lucyは、エージェント型ウェブ検索と軽量ブラウジングに特化した17億パラメータのコンパクトで高性能なモデルです。このモデルは、Qwen3-1.7Bをベースに構築されており、大規模モデルの深い調査能力を引き継ぎながら、モバイルデバイスでも、CPUのみの構成でも効率的に動作するように最適化されています。

著者: Alan Dao, Bach Vu Dinh, Alex Nguyen, Norapat Buppodom

🚀 クイックスタート

Lucyは、vLLM、llama.cppなどの様々な方法でデプロイできます。また、JanやLMStudioなどのローカルアプリケーションや、その他の互換性のある推論エンジンを通じても利用できます。このモデルは、MCPを通じて検索APIやウェブブラウジングツールとの統合をサポートしています。

デプロイメント

VLLMを使用してデプロイするには、以下のコマンドを実行します。

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes \
    --rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072

または、llama.cppのllama-serverを使用することもできます。

llama-server ... --rope-scaling yarn --rope-scale 3.2 --yarn-orig-ctx 40960

推奨サンプリングパラメータ

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

✨ 主な機能

• 🔍 強力なエージェント型検索：MCP対応ツール（例：Google Searchを使用したSerper）を駆使した検索機能
• 🌐 基本的なブラウジング機能：Crawl4AI（近日リリース予定のMCPサーバー）、Serperなどを通じたブラウジング機能
• 📱 モバイル最適化：CPUまたはモバイルデバイスでも十分な速度で動作する軽量モデル
• 🎯 集中的な推論能力：機械生成タスクベクトルにより、検索タスクの思考プロセスが最適化されています。

📚 ドキュメント

概要

Lucyは、エージェント型ウェブ検索と軽量ブラウジングに特化した17億パラメータのコンパクトで高性能なモデルです。このモデルは、Qwen3-1.7Bをベースに構築されており、大規模モデルの深い調査能力を引き継ぎながら、モバイルデバイスでも、CPUのみの構成でも効率的に動作するように最適化されています。

これは、思考プロセスを最適化する機械生成タスクベクトル、複数のカテゴリにわたる滑らかな報酬関数、および教師あり微調整を一切行わない純粋な強化学習によって実現されています。

評価

Jan-Nano と Jan-Nano-128k で使用されているのと同じMCPベンチマーク方法に従って評価した結果、Lucyはたった17億パラメータのモデルであるにもかかわらず、印象的なパフォーマンスを示し、SimpleQA でDeepSeek-v3よりも高い精度を達成しています。

🤝 コミュニティとサポート

• ディスカッション: HuggingFace Community

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。詳細については、こちらを参照してください。

📄 引用

論文 (近日公開予定): Lucy: edgerunning agentic web search on mobile with machine generated task vectors.

情報テーブル