Lucy Gguf

🚀 Lucy：使用17億參數模型在移動設備上實現前沿的自主網絡搜索

Lucy是一款專注於自主網絡搜索和輕量級瀏覽的17億參數模型。它基於[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)構建，在繼承大型模型深度研究能力的同時，經過優化可在移動設備上高效運行，即使僅使用CPU配置也沒問題。

[](https://github.com/menloresearch/deep - research) [](https://opensource.org/licenses/Apache - 2.0)

作者：Alan Dao，Bach Vu Dinh，Alex Nguyen，Norapat Buppodom

🚀 快速開始

Lucy可通過多種方式進行部署，包括使用vLLM、llama.cpp，或通過本地應用程序（如Jan、LMStudio和其他兼容的推理引擎）。該模型支持通過MCP與搜索API和網頁瀏覽工具集成。

部署

使用VLLM進行部署：

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes 

或者使用llama.cpp中的llama-server：

llama-server ... 

推薦的採樣參數

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

✨ 主要特性

• 🔍 強大的自主搜索能力：由支持MCP的工具（如集成谷歌搜索的Serper）提供支持。
• 🌐 基本的瀏覽功能：可通過Crawl4AI（MCP服務器即將發佈）、Serper等實現。
• 📱 針對移動設備優化：模型足夠輕量，可在CPU或移動設備上以不錯的速度運行。
• 🎯 專注的推理能力：通過機器生成的任務向量優化搜索任務的思維過程。

📚 詳細文檔

概述

Lucy是一款緊湊但功能強大的17億參數模型，專注於自主網絡搜索和輕量級瀏覽。它基於[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)構建，在繼承大型模型深度研究能力的同時，經過優化可在移動設備上高效運行，即使僅使用CPU配置也沒問題。

我們通過機器生成的任務向量優化思維過程、平滑多類別獎勵函數，並採用純強化學習（無任何監督微調）實現了這一目標。

評估

採用與[Jan - Nano](https://huggingface.co/Menlo/Jan - nano)和[Jan - Nano - 128k](https://huggingface.co/Menlo/Jan - nano - 128k)相同的MCP基準測試方法，儘管Lucy只是一個17億參數的模型，但它表現出色，在[SimpleQA](https://openai.com/index/introducing - simpleqa/)上的準確率高於DeepSeek - v3。


🤝 社區與支持

• 討論區：[HuggingFace社區](https://huggingface.co/Menlo/Lucy - 128k/discussions)

📄 許可證

本項目採用Apache 2.0許可證。

📄 引用

論文（即將發佈）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.