Lucy Gguf

🚀 Lucy: 17億パラメータモデルによるモバイル端末向けのエッジランニング型エージェントウェブ検索

Lucyは、エージェント型ウェブ検索と軽量なブラウジングに特化した、コンパクトで高性能な17億パラメータのモデルです。モバイルデバイスでも、CPUのみの構成でも効率的に動作するように最適化されています。

著者: Alan Dao, Bach Vu Dinh, Alex Nguyen, Norapat Buppodom

🚀 クイックスタート

Lucyは、vLLM、llama.cppなどの様々な方法でデプロイできます。また、JanやLMStudioなどのローカルアプリケーションや、その他の互換性のある推論エンジンを通しても利用できます。モデルは、MCPを通じて検索APIやウェブブラウジングツールとの統合をサポートしています。

デプロイメント

VLLMを使用してデプロイするには、以下のコマンドを実行します。

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes 

または、llama.cppのllama-serverを使用することもできます。

llama-server ... 

推奨サンプリングパラメータ

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

✨ 主な機能

• 🔍 強力なエージェント型検索：MCP対応ツール（例：Google Searchを使用したSerper）によるサポート
• 🌐 基本的なブラウジング機能：Crawl4AI（近日公開予定のMCPサーバー）、Serperなどを通じて利用可能
• 📱 モバイル最適化：CPUまたはモバイルデバイスでも十分な速度で動作する軽量モデル
• 🎯 集中的な推論：機械生成タスクベクトルにより、検索タスクの思考プロセスが最適化されています。

📚 ドキュメント

概要

Lucyは、Qwen3-1.7Bをベースに構築された、17億パラメータのコンパクトなモデルです。大規模モデルの深い研究能力を引き継ぎながら、モバイルデバイスでも効率的に動作するように最適化されています。これは、機械生成タスクベクトルによる思考プロセスの最適化、複数カテゴリにわたる滑らかな報酬関数、および教師あり微調整を使用しない純粋な強化学習によって実現されています。

評価

Jan-NanoとJan-Nano-128kに使用されているのと同じMCPベンチマーク方法に従って、Lucyは17億パラメータのモデルでありながら、印象的なパフォーマンスを示しています。SimpleQAでは、DeepSeek-v3よりも高い精度を達成しています。

🤝 コミュニティとサポート

• ディスカッション: HuggingFaceコミュニティ

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。詳細については、こちらを参照してください。

📄 引用

論文（近日公開予定）: Lucy: edgerunning agentic web search on mobile with machine generated task vectors.