Lucy 128k Gguf

🚀 Lucy：借助17亿参数模型在移动设备上实现前沿的自主式网络搜索

Lucy是一款专注于自主式网络搜索和轻量级浏览的模型。它基于Qwen3 - 1.7B构建，继承了大型模型的深度研究能力，同时针对移动设备进行了优化，即使仅使用CPU配置也能高效运行。

作者信息

• Alan Dao
• Bach Vu Dinh
• Alex Nguyen
• Norapat Buppodom

项目链接

• GitHub仓库
• 许可证

模型展示

演示动图

✨ 主要特性

强大的自主搜索能力

由支持MCP的工具（如集成谷歌搜索的Serper）提供支持，具备出色的自主搜索能力。

基础的浏览功能

可通过Crawl4AI（MCP服务器即将发布）、Serper等实现基础的网页浏览功能。

移动设备优化

模型轻量级，能够在CPU或移动设备上以可观的速度运行。

聚焦推理

通过机器生成的任务向量优化搜索任务的思考过程。

📚 详细文档

概述

Lucy是一个规模为17亿参数的紧凑型模型，专注于自主式网络搜索和轻量级浏览。它基于[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)构建，在继承大型模型深度研究能力的同时，针对移动设备进行了优化，即使仅使用CPU也能高效运行。这一成果是通过机器生成的任务向量优化思考过程、跨多类别平滑奖励函数以及纯强化学习（无任何监督微调）实现的。

评估

采用与[Jan - Nano](https://huggingface.co/Menlo/Jan - nano)和[Jan - Nano - 128k](https://huggingface.co/Menlo/Jan - nano - 128k)相同的MCP基准测试方法，尽管Lucy只有17亿参数，但表现出色，在[SimpleQA](https://openai.com/index/introducing - simpleqa/)上的准确率高于DeepSeek - v3。

📦 安装指南

部署方式

Lucy可以使用多种方法进行部署，包括vLLM、llama.cpp，或者通过本地应用程序（如Jan、LMStudio和其他兼容的推理引擎）。该模型支持通过MCP与搜索API和网页浏览工具集成。

使用VLLM部署

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes \
    --rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072

使用llama.cpp的llama-server部署

llama-server ... --rope-scaling yarn --rope-scale 3.2 --yarn-orig-ctx 40960

推荐采样参数

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

🤝 社区与支持

可在HuggingFace社区进行讨论交流。

📄 许可证

本项目采用Apache 2.0许可证。

📄 引用

论文（即将发布）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.

📋 模型信息