Qwen2.5 Coder 3B Instruct GGUF

🚀 Qwen2.5-Coder-3B-Instruct-GGUF

本项目基于Qwen2.5-Coder-3B-Instruct模型进行量化处理，为代码生成和对话交互提供了高效且便捷的解决方案。通过GaiaNet，用户可以快速启动并定制自己的节点，实现代码生成和对话等功能。

🚀 快速开始

你可以按照以下链接中的指南快速启动项目：

• 快速开始：https://docs.gaianet.ai/node-guide/quick-start
• 自定义节点：https://docs.gaianet.ai/node-guide/customize

✨ 主要特性

• 基于强大模型：原始模型为 Qwen/Qwen2.5-Coder-3B-Instruct，具备优秀的代码生成和对话能力。
• 特定的提示模板：使用 chatml 提示模板，优化交互效果。
• 大上下文支持：聊天上下文大小为 32000，能够处理更复杂的对话场景。

📦 安装指南

文档中未提供具体安装步骤，暂不展示相关内容。

💻 使用示例

文档中未提供代码示例，暂不展示相关内容。

📚 详细文档

原始模型

本项目基于 Qwen/Qwen2.5-Coder-3B-Instruct 模型。

运行参数

运行方式

通过GaiaNet运行，具体可参考以下链接：

• 快速开始：https://docs.gaianet.ai/node-guide/quick-start
• 自定义节点：https://docs.gaianet.ai/node-guide/customize

量化说明

本模型使用 llama.cpp b4033 进行量化。

🔧 技术细节

文档中未提供具体的技术实现细节，暂不展示相关内容。

📄 许可证

本项目使用的许可证为 qwen-research。