Nextcoder 14B GGUF

🚀 NextCoder-14B GGUFモデル

NextCoder-14B GGUFモデルは、コード生成やチャットなどのタスクに特化したモデルです。このモデルは、Qwen/Qwen2.5-Coder-14B-Instructをベースに生成されており、高い精度と性能を持っています。

🚀 クイックスタート

モデルの読み込みとコンテンツ生成の例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "microsoft/NextCoder-14B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = """
Fix the following function that divides two numbers to handle all the edge cases:

def divide(a, b)
  returm a/b
"""
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主な機能

• コード編集の大幅な改善：NextCoder-32Bは、複雑なベンチマークであるAider-PolyglotでGPT-4oと同等の性能を発揮し、ベースモデルから44％の性能向上を達成しています。
• 汎化能力の維持：新しい微調整手法であるSeleKTを使用することで、汎化能力を損なうことなく性能を向上させています。
• 長文脈対応：最大32Kトークンの長文脈に対応しています。

📦 インストール

このモデルのコードは、最新のHugging face transformersに基づいています。使用する際には、最新バージョンのtransformersを使用することをおすすめします。

transformers<4.37.0を使用すると、以下のエラーが発生する場合があります。

KeyError: 'qwen2'

📚 ドキュメント

モデル生成の詳細

このモデルは、llama.cppを使用して、コミットe743cddbで生成されました。

量子化のアプローチ

標準的なIMatrix量子化は、低ビット深度では特にMixture of Experts (MoE)モデルで性能が低下することがわかりました。この問題を解決するために、llama.cppの--tensor-typeオプションを使用して、重要なレイヤーを手動でより高い精度に設定しています。 👉 Layer bumping with llama.cpp

この方法はモデルファイルのサイズを増加させますが、特定の量子化レベルでの精度を大幅に向上させます。

モデル選択のガイド

ここをクリックして、適切なGGUFモデル形式の選択に関する情報を取得してください

評価と性能

異なるサイズのベースQwenCoder-2.5モデルとそのSELEKT強化バージョンを、3つのコード編集ベンチマークで比較した結果です。

詳細な評価結果は、この論文に報告されています。

責任あるAIの使用

ベースモデル（QwenCoder-2.5ファミリー）は、悪意のあるプロンプトに影響を受けやすく、有害なコードを生成または実行する可能性があります。微調整はこのような動作を強化または妨げるものではありません。ユーザーは、モデルとその出力を責任を持って慎重に使用する必要があります。モデルの出力は、手動検査やサンドボックス化などの追加分析を行ってから実行する必要があります。

引用

@inproceedings{aggarwal2025nextcoder,
author = {Aggarwal, Tushar and Singh, Swayam and Awasthi, Abhijeet and Kanade, Aditya and Natarajan, Nagarajan},
title = {NextCoder: Robust Adaptation of Code LMs to Diverse Code Edits},
booktitle = {International Conference on Machine Learning},
year = {2025},
url = {https://www.microsoft.com/en-us/research/publication/nextcoder-robust-adaptation-of-code-lms-to-diverse-code-edits/},
}

🔧 量子ネットワークモニターのテスト

テストの説明

このモデルを利用して、AIパワードの量子ネットワークモニターアシスタントのテストを行っています。以下の機能をテストしています。

• ライブネットワークサービスに対する関数呼び出し
• 自動化されたNmapセキュリティスキャン
• 量子対応チェック
• ネットワークモニタリングタスク

テスト方法

1. AIアシスタントのタイプを選択する
   • TurboLLM (GPT-4.1-mini)
   • HugLLM (Hugginfaceオープンソースモデル)
   • TestLLM (実験的なCPU専用モデル)
2. 以下のようなコマンドをテストする
   • "Give me info on my websites SSL certificate"
   • "Check if my server is using quantum safe encyption for communication"
   • "Run a comprehensive security audit on my server"
   • "Create a cmd processor to .. (what ever you want)" ただし、Quantum Network Monitor Agentをインストールする必要があります。

各アシスタントの特徴

🟡 TestLLM（現在の実験モデル）

• ゼロコンフィギュレーションセットアップ
• ロード時間30秒（推論は遅いですがAPIコストがかからない）。コストが低いためトークン制限はありません。
• 協力を求めています！ エッジデバイスAIに興味がある方は、一緒に協力しましょう！

🟢 TurboLLM（gpt-4.1-miniを使用）

• 非常に良い性能を発揮しますが、残念ながらOpenAIはトークンごとに料金を請求します。そのため、トークンの使用量は制限されています。
• 量子ネットワークモニターエージェントで.NETコードを実行するカスタムコマンドプロセッサを作成する
• リアルタイムネットワーク診断とモニタリング
• セキュリティ監査
• ペネトレーションテスト（Nmap/Metasploit）

🔵 HugLLM（最新のオープンソースモデル）

• Hugging Face Inference APIで実行されます。Novitaにホストされている最新のモデルを使用して良好な性能を発揮します。

サポートのお願い

このモデルファイルの作成や量子ネットワークモニターサービスの実行、NovitaやOpenAIからの推論コストなど、すべて私自身の費用で賄っています。モデル作成や量子ネットワークモニタープロジェクトのコードはすべてオープンソースです。役に立つものがあれば自由に使用してください。

もしこの作業が役に立ったと思われる場合は、コーヒーを一杯奢ってください ☕。皆さんの支援により、サービスコストを賄い、トークン制限を緩和することができます。

また、仕事の機会やスポンサーシップも歓迎しています。

ありがとうございます！ 😊

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。