Qwen2.5 Coder 3B Instruct GGUF

🚀 Qwen2.5-Coder-3B-Instruct-GGUF

本項目基於Qwen2.5-Coder-3B-Instruct模型進行量化處理，為代碼生成和對話交互提供了高效且便捷的解決方案。通過GaiaNet，用戶可以快速啟動並定製自己的節點，實現代碼生成和對話等功能。

🚀 快速開始

你可以按照以下鏈接中的指南快速啟動項目：

• 快速開始：https://docs.gaianet.ai/node-guide/quick-start
• 自定義節點：https://docs.gaianet.ai/node-guide/customize

✨ 主要特性

• 基於強大模型：原始模型為 Qwen/Qwen2.5-Coder-3B-Instruct，具備優秀的代碼生成和對話能力。
• 特定的提示模板：使用 chatml 提示模板，優化交互效果。
• 大上下文支持：聊天上下文大小為 32000，能夠處理更復雜的對話場景。

📦 安裝指南

文檔中未提供具體安裝步驟，暫不展示相關內容。

💻 使用示例

文檔中未提供代碼示例，暫不展示相關內容。

📚 詳細文檔

原始模型

本項目基於 Qwen/Qwen2.5-Coder-3B-Instruct 模型。

運行參數

運行方式

通過GaiaNet運行，具體可參考以下鏈接：

• 快速開始：https://docs.gaianet.ai/node-guide/quick-start
• 自定義節點：https://docs.gaianet.ai/node-guide/customize

量化說明

本模型使用 llama.cpp b4033 進行量化。

🔧 技術細節

文檔中未提供具體的技術實現細節，暫不展示相關內容。

📄 許可證

本項目使用的許可證為 qwen-research。