Lucy 128k Gguf

🚀 Lucy: 17億パラメータモデルによるモバイルでの最先端のエージェント型ウェブ検索

Lucyは、エージェント型ウェブ検索と軽量ブラウジングに特化したコンパクトで高性能な17億パラメータのモデルです。モバイルデバイスでも効率的に動作し、CPUのみの環境でも十分な速度で実行できます。

著者: Alan Dao, Bach Vu Dinh, Alex Nguyen, Norapat Buppodom

🚀 クイックスタート

Lucyは、エージェント型ウェブ検索と軽量ブラウジングに特化したコンパクトなモデルです。Qwen3-1.7B をベースに構築されており、大規模モデルの深い研究能力を引き継ぎながら、モバイルデバイスでも効率的に動作するように最適化されています。

✨ 主な機能

• 🔍 強力なエージェント型検索：MCP対応ツール（例：Google検索を使ったSerper）によるサポート
• 🌐 基本的なブラウジング機能：Crawl4AI（近日公開予定のMCPサーバー）、Serperなどを通じて
• 📱 モバイル最適化：CPUまたはモバイルデバイスでも十分な速度で動作する軽量モデル
• 🎯 焦点を絞った推論：機械生成タスクベクトルにより、検索タスクの思考プロセスが最適化されている

📚 ドキュメント

評価

Jan-Nano と Jan-Nano-128k で使用されている同じMCPベンチマーク手法に従って、Lucyはたった17億パラメータのモデルでありながら印象的なパフォーマンスを示し、SimpleQA でDeepSeek-v3よりも高い精度を達成しています。

📦 インストール

Lucyは、vLLM、llama.cppなどのさまざまな方法でデプロイできます。また、Jan、LMStudioなどのローカルアプリケーションや、その他の互換性のある推論エンジンを通じても使用できます。このモデルは、MCPを通じて検索APIやウェブブラウジングツールとの統合をサポートしています。

デプロイ

VLLMを使用してデプロイする場合：

vllm serve Menlo/Lucy-128k \
    --host 0.0.0.0 \
    --port 1234 \
    --enable-auto-tool-choice \
    --tool-call-parser hermes \
    --rope-scaling '{"rope_type":"yarn","factor":3.2,"original_max_position_embeddings":40960}' --max-model-len 131072

または、llama.cpp の llama-server を使用する場合：

llama-server ... --rope-scaling yarn --rope-scale 3.2 --yarn-orig-ctx 40960

推奨サンプリングパラメータ

Temperature: 0.7
Top-p: 0.9
Top-k: 20
Min-p: 0.0

🤝 コミュニティとサポート

• ディスカッション：HuggingFaceコミュニティ

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。詳細については、こちら を参照してください。

📄 引用

論文（近日公開予定）: Lucy: edgerunning agentic web search on mobile with machine generated task vectors.