Lucy

🚀 Lucy：藉助17億參數模型實現移動設備上的前沿自主網頁搜索

Lucy是一款專注於自主網頁搜索和輕量級瀏覽的17億參數模型。它基於Qwen3-1.7B構建，在繼承大型模型強大研究能力的同時，經過優化可在移動設備（甚至僅使用CPU）上高效運行。

項目信息

項目鏈接

• GitHub倉庫
• 許可證詳情

項目作者

• Alan Dao
• Bach Vu Dinh
• Alex Nguyen
• Norapat Buppodom

項目演示

模型圖片

🚀 快速開始

Lucy是一款輕量級但功能強大的17億參數模型，專注於自主網頁搜索和輕量級瀏覽。它基於Qwen3-1.7B構建，繼承了大型模型的深度研究能力，同時經過優化可在移動設備上高效運行，即使僅使用CPU配置也沒問題。

我們通過機器生成的任務向量來優化思考過程、平滑多類別獎勵函數，並採用純強化學習（無任何監督微調）實現了這一目標。

✨ 主要特性

• 🔍 強大的自主搜索能力：由支持MCP的工具（如集成谷歌搜索的Serper）提供支持。
• 🌐 基本瀏覽功能：通過Crawl4AI（MCP服務器即將發佈）、Serper等實現。
• 📱 移動設備優化：模型輕量級，可在CPU或移動設備上以不錯的速度運行。
• 🎯 專注推理：機器生成的任務向量優化搜索任務的思考過程。

🔧 技術細節

遵循與Jan-Nano和Jan-Nano-128k相同的MCP基準測試方法，儘管Lucy只是一個17億參數的模型，但它表現出了令人印象深刻的性能，在SimpleQA上的準確率高於DeepSeek-v3。

📦 安裝指南

Lucy可以使用多種方法進行部署，包括vLLM、llama.cpp，或者通過本地應用程序（如Jan、LMStudio和其他兼容的推理引擎）。該模型支持通過MCP與搜索API和網頁瀏覽工具集成。

部署方法

使用VLLM部署

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes 

使用llama.cpp的llama-server部署

llama-server ... 

推薦採樣參數

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

🤝 社區與支持

• 討論區：HuggingFace社區

📄 引用信息

論文（即將發佈）：Lucy: edgerunning agentic web search on mobile with machine generated task vectors.