Lucy 128k

🚀 Lucy：借助17亿参数模型实现移动设备上的前沿智能网页搜索

Lucy是一款专注于智能网页搜索和轻量级浏览的17亿参数模型。它基于Qwen3 - 1.7B构建，在继承大型模型强大研究能力的同时，经过优化可在移动设备上高效运行，即便仅使用CPU也能有不错的表现。

作者：Alan Dao、Bach Vu Dinh、Alex Nguyen、Norapat Buppodom

🚀 快速开始

Lucy可通过多种方式进行部署，包括vLLM、llama.cpp，或者通过Jan、LMStudio等本地应用以及其他兼容的推理引擎。该模型支持通过MCP与搜索API和网页浏览工具集成。

部署

使用VLLM进行部署：

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes \
    --rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072

或者使用llama.cpp中的llama-server：

llama-server ... --rope-scaling yarn --rope-scale 3.2 --yarn-orig-ctx 40960

推荐采样参数

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

✨ 主要特性

• 🔍 强大的智能搜索能力：由支持MCP的工具（如集成谷歌搜索的Serper）提供支持。
• 🌐 基础网页浏览功能：可通过Crawl4AI（MCP服务器待发布）、Serper等实现。
• 📱 针对移动设备优化：模型轻量，能够在CPU或移动设备上以可观的速度运行。
• 🎯 专注的推理能力：通过机器生成的任务向量优化搜索任务的思考过程。

📚 详细文档

概述

Lucy是一款紧凑但功能强大的17亿参数模型，专注于智能网页搜索和轻量级浏览。它基于Qwen3 - 1.7B构建，在继承大型模型强大研究能力的同时，经过优化可在移动设备上高效运行，即便仅使用CPU配置也能实现。

我们通过机器生成的任务向量优化思考过程、平滑跨多个类别的奖励函数，以及采用无任何监督微调的纯强化学习实现了这一目标。

评估

遵循与Jan - Nano和Jan - Nano - 128k相同的MCP基准测试方法，尽管Lucy只是一个17亿参数的模型，但它表现出了令人印象深刻的性能，在SimpleQA上的准确率高于DeepSeek - v3。

🤝 社区与支持

• 讨论区：HuggingFace社区

📄 引用

论文（即将发布）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.

📄 许可证

本项目采用Apache 2.0许可证。