Qwen2.5 Coder 3B Instruct GGUF

🚀 Qwen2.5-Coder-3B-Instruct-GGUF

このプロジェクトは、Qwen2.5-Coder-3B-Instructモデルをベースにして量子化処理を行い、コード生成と対話型インタラクションに対して、効率的で使いやすいソリューションを提供しています。GaiaNetを通じて、ユーザーは迅速にノードを起動し、独自のノードをカスタマイズして、コード生成や対話などの機能を実現することができます。

🚀 クイックスタート

以下のリンクのガイドに従って、プロジェクトをすばやく起動することができます。

• クイックスタート：https://docs.gaianet.ai/node-guide/quick-start
• ノードのカスタマイズ：https://docs.gaianet.ai/node-guide/customize

✨ 主な機能

• 強力なモデルをベースに：オリジナルのモデルは Qwen/Qwen2.5-Coder-3B-Instruct で、優れたコード生成と対話能力を備えています。
• 特定のプロンプトテンプレート：chatml プロンプトテンプレートを使用し、インタラクションの効果を最適化します。
• 大規模なコンテキストサポート：チャットのコンテキストサイズは 32000 で、より複雑な対話シナリオを処理することができます。

📚 ドキュメント

オリジナルモデル

このプロジェクトは Qwen/Qwen2.5-Coder-3B-Instruct モデルをベースにしています。

実行パラメータ

実行方法

GaiaNetを通じて実行します。詳細は以下のリンクを参照してください。

• クイックスタート：https://docs.gaianet.ai/node-guide/quick-start
• ノードのカスタマイズ：https://docs.gaianet.ai/node-guide/customize

量子化の説明

このモデルは llama.cpp b4033 を使用して量子化されています。

📄 ライセンス

このプロジェクトで使用されているライセンスは qwen-research です。