SWE Dev 32B GGUF

🚀 SWE-Dev-32B GGUF モデル

このモデルは、ソフトウェアエンジニアリングタスクに特化したモデルで、論文 SWE-Dev: Building Software Engineering Agents with Training and Inference Scaling で発表された SWE-Dev-32B モデルをベースに生成されています。

🚀 クイックスタート

このセクションでは、SWE-Dev-32B GGUF モデルの基本的な情報や使い方のガイドを提供します。

✨ 主な機能

• 高精度なテキスト生成：ソフトウェアエンジニアリングタスクに特化した高精度なテキスト生成が可能です。
• 量子ネットワークモニタリング：量子ネットワークのモニタリングやセキュリティチェックを行うことができます。
• 小規模オープンソースモデルの活用：小規模なオープンソースモデルを活用して、低コストで高性能なモデルを提供します。

📚 ドキュメント

🔍 モデル生成詳細

このモデルは、llama.cpp を使用して生成されました。具体的には、コミット 0a5a3b5c で生成されています。

🔍 量子化の新アプローチ

私は、新しい量子化アプローチを試行しています。このアプローチでは、デフォルトの IMatrix 設定で提供される精度を超えて、重要なレイヤーの精度を選択的に向上させています。

標準的な IMatrix 量子化では、低ビット深度での性能が低下することがあります。特に、Mixture of Experts (MoE) モデルではこの問題が顕著です。そこで、llama.cpp の --tensor-type オプションを使用して、重要なレイヤーを手動で高精度に設定しています。実装はこちらで確認できます：
👉 Layer bumping with llama.cpp

この方法では、モデルファイルのサイズが増加しますが、量子化レベルに対する精度が大幅に向上します。

🔍 モデル選択ガイド

適切な GGUF モデル形式を選択するための情報は、こちら をクリックして確認できます。

🔍 元のモデルカード

• 📝 論文
• 🌐 Github
• 🤗 SWE-Dev-7B (Qwen-2.5-Coder-7B-Instruct)
• 🤗 SWE-Dev-9B (GLM-4-9B-Chat)
• 🤗 SWE-Dev-32B (Qwen-2.5-Coder-32B-Instruct)
• 🤗 SWE-Dev-train (Training Data)

🔍 モデルのテスト

これらのモデルが役に立つと思われる場合は、私の AI 駆動の量子ネットワークモニタリングアシスタント をテストしていただけると幸いです。

👉 量子ネットワークモニター

量子ネットワークモニターサービスの完全なオープンソースコードは、私の GitHub リポジトリ（名前に NetworkMonitor が含まれるリポジトリ）で入手できます：量子ネットワークモニターのソースコード。また、モデルを独自で量子化するためのコードも GGUFModelBuilder で見つけることができます。

💬 テスト方法

AI アシスタントのタイプ を選択します：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginface オープンソースモデル)
• TestLLM (実験的な CPU 専用モデル)

🔍 テスト内容

私は、AI ネットワークモニタリング用の小規模オープンソースモデル の限界を追求しています。具体的には、以下の点をテストしています：

• ライブネットワークサービスに対する 関数呼び出し
• 以下のタスクを処理しながら、モデルをどれだけ小さくできるか：
  • 自動化された Nmap セキュリティスキャン
  • 量子対応チェック
  • ネットワークモニタリングタスク

🔍 各アシスタントの特徴

• 🟡 TestLLM – 現在の実験的モデル (huggingface の Docker スペースで 2 つの CPU スレッドで動作する llama.cpp)：
  • ✅ ゼロコンフィギュレーション設定
  • ⏳ 30 秒のロード時間 (推論は遅いですが、API コストがかからない)。コストが低いため、トークン制限がありません。
  • 🔧 協力者募集！ エッジデバイス AI に興味がある方は、一緒に協力しましょう！
• 🟢 TurboLLM – gpt-4.1-mini を使用：
  • 性能は非常に良好ですが、残念ながら OpenAI はトークンごとに料金を請求します。そのため、トークンの使用量に制限があります。
  • 量子ネットワークモニターエージェントで .net コードを実行するカスタムコマンドプロセッサを作成
  • リアルタイムのネットワーク診断とモニタリング
  • セキュリティ監査
  • 侵入テスト (Nmap/Metasploit)
• 🔵 HugLLM – 最新のオープンソースモデル：
  • 🌐 Hugging Face 推論 API で動作します。Novita でホストされている最新のモデルを使用して、かなり良好な性能を発揮します。

💡 テストできるコマンドの例

1. "私のウェブサイトの SSL 証明書に関する情報を教えて"
2. "私のサーバーが通信に量子安全暗号化を使用しているか確認して"
3. "私のサーバーに包括的なセキュリティ監査を実行して"
4. `"cmd プロセッサを作成して .. (何でも)" 注：.net コードを実行するには、量子ネットワークモニターエージェント をインストールする必要があります。これは非常に柔軟で強力な機能です。注意して使用してください！

🔍 最後に

これらのモデルファイルを作成するためのサーバー、量子ネットワークモニターサービスを実行するためのサーバー、および Novita と OpenAI からの推論にかかる費用は、すべて私の私費で負担しています。モデル作成と量子ネットワークモニタープロジェクトの背後にあるすべてのコードは オープンソース です。役に立つものがあれば、自由に使用していただいて構いません。

もし私の仕事を評価していただける場合は、コーヒーを請んでください ☕。皆さんの支援により、サービスコストを賄い、すべての人のトークン制限を引き上げることができます。

また、仕事の機会やスポンサーシップも歓迎しています。

ありがとうございます！ 😊

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。