Lucy Gguf

🚀 Lucy：使用17亿参数模型在移动设备上实现前沿的自主网络搜索

Lucy是一款专注于自主网络搜索和轻量级浏览的17亿参数模型。它基于[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)构建，在继承大型模型深度研究能力的同时，经过优化可在移动设备上高效运行，即使仅使用CPU配置也没问题。

[](https://github.com/menloresearch/deep - research) [](https://opensource.org/licenses/Apache - 2.0)

作者：Alan Dao，Bach Vu Dinh，Alex Nguyen，Norapat Buppodom

🚀 快速开始

Lucy可通过多种方式进行部署，包括使用vLLM、llama.cpp，或通过本地应用程序（如Jan、LMStudio和其他兼容的推理引擎）。该模型支持通过MCP与搜索API和网页浏览工具集成。

部署

使用VLLM进行部署：

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes 

或者使用llama.cpp中的llama-server：

llama-server ... 

推荐的采样参数

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

✨ 主要特性

• 🔍 强大的自主搜索能力：由支持MCP的工具（如集成谷歌搜索的Serper）提供支持。
• 🌐 基本的浏览功能：可通过Crawl4AI（MCP服务器即将发布）、Serper等实现。
• 📱 针对移动设备优化：模型足够轻量，可在CPU或移动设备上以不错的速度运行。
• 🎯 专注的推理能力：通过机器生成的任务向量优化搜索任务的思维过程。

📚 详细文档

概述

Lucy是一款紧凑但功能强大的17亿参数模型，专注于自主网络搜索和轻量级浏览。它基于[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)构建，在继承大型模型深度研究能力的同时，经过优化可在移动设备上高效运行，即使仅使用CPU配置也没问题。

我们通过机器生成的任务向量优化思维过程、平滑多类别奖励函数，并采用纯强化学习（无任何监督微调）实现了这一目标。

评估

采用与[Jan - Nano](https://huggingface.co/Menlo/Jan - nano)和[Jan - Nano - 128k](https://huggingface.co/Menlo/Jan - nano - 128k)相同的MCP基准测试方法，尽管Lucy只是一个17亿参数的模型，但它表现出色，在[SimpleQA](https://openai.com/index/introducing - simpleqa/)上的准确率高于DeepSeek - v3。


🤝 社区与支持

• 讨论区：[HuggingFace社区](https://huggingface.co/Menlo/Lucy - 128k/discussions)

📄 许可证

本项目采用Apache 2.0许可证。

📄 引用

论文（即将发布）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.