Lucy 128k Gguf

🚀 Lucy：藉助17億參數模型在移動設備上實現前沿的自主式網絡搜索

Lucy是一款專注於自主式網絡搜索和輕量級瀏覽的模型。它基於Qwen3 - 1.7B構建，繼承了大型模型的深度研究能力，同時針對移動設備進行了優化，即使僅使用CPU配置也能高效運行。

作者信息

• Alan Dao
• Bach Vu Dinh
• Alex Nguyen
• Norapat Buppodom

項目鏈接

• GitHub倉庫
• 許可證

模型展示

演示動圖

✨ 主要特性

強大的自主搜索能力

由支持MCP的工具（如集成谷歌搜索的Serper）提供支持，具備出色的自主搜索能力。

基礎的瀏覽功能

可通過Crawl4AI（MCP服務器即將發佈）、Serper等實現基礎的網頁瀏覽功能。

移動設備優化

模型輕量級，能夠在CPU或移動設備上以可觀的速度運行。

聚焦推理

通過機器生成的任務向量優化搜索任務的思考過程。

📚 詳細文檔

概述

Lucy是一個規模為17億參數的緊湊型模型，專注於自主式網絡搜索和輕量級瀏覽。它基於[Qwen3 - 1.7B](https://huggingface.co/Qwen/Qwen3 - 1.7B)構建，在繼承大型模型深度研究能力的同時，針對移動設備進行了優化，即使僅使用CPU也能高效運行。這一成果是通過機器生成的任務向量優化思考過程、跨多類別平滑獎勵函數以及純強化學習（無任何監督微調）實現的。

評估

採用與[Jan - Nano](https://huggingface.co/Menlo/Jan - nano)和[Jan - Nano - 128k](https://huggingface.co/Menlo/Jan - nano - 128k)相同的MCP基準測試方法，儘管Lucy只有17億參數，但表現出色，在[SimpleQA](https://openai.com/index/introducing - simpleqa/)上的準確率高於DeepSeek - v3。

📦 安裝指南

部署方式

Lucy可以使用多種方法進行部署，包括vLLM、llama.cpp，或者通過本地應用程序（如Jan、LMStudio和其他兼容的推理引擎）。該模型支持通過MCP與搜索API和網頁瀏覽工具集成。

使用VLLM部署

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes \
    --rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072

使用llama.cpp的llama-server部署

llama-server ... --rope-scaling yarn --rope-scale 3.2 --yarn-orig-ctx 40960

推薦採樣參數

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

🤝 社區與支持

可在HuggingFace社區進行討論交流。

📄 許可證

本項目採用Apache 2.0許可證。

📄 引用

論文（即將發佈）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.

📋 模型信息