Arch Agent 1.5B GGUF

🚀 Arch-Agent-1.5B GGUFモデル

Arch-Agent-1.5B GGUFモデルは、高度な関数呼び出しとエージェントベースのアプリケーションに最適化された最先端の大規模言語モデルです。複雑な多段階タスクを効率的に処理できます。

🚀 クイックスタート

このモデルを使用するには、まずtransformersライブラリをインストールする必要があります。

pip install transformers>=4.51.0

以下のコード例では、モデルを使用して関数呼び出しタスクを実行する方法を示しています。

import json
from typing import Any, Dict, List
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "katanemo/Arch-Agent-1.5B"

model = AutoModelForCausalLM.from_pretrained(
    model_name, device_map="auto", torch_dtype="auto", trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

TASK_PROMPT = (
    "You are a helpful assistant designed to assist with the user query by making one or more function calls if needed."
    "\n\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\n"
    "You are provided with function signatures within <tools></tools> XML tags:\n<tools>\n{tool_text}"
    "\n</tools>\n\nFor each function call, return a json object with function name and arguments within "
    """<tool_call></tool_call> XML tags:\n<tool_call>\n{{"name": <function-name>, """
    """"arguments": <args-json-object>}}\n</tool_call>"""
)

# Define available tools
tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the current weather for a location",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "str",
                        "description": "The city and state, e.g. San Francisco, New York",
                    },
                    "unit": {
                        "type": "str",
                        "enum": ["celsius", "fahrenheit"],
                        "description": "The unit of temperature to return",
                    },
                },
                "required": ["location"],
            },
        },
    }
]

# Helper function to create the system prompt for our model
def format_prompt(tools: List[Dict[str, Any]]):
    tool_text = "\n".join(
        [json.dumps(tool["function"], ensure_ascii=False) for tool in tools]
    )
    return TASK_PROMPT.format(tool_text=tool_text)

system_prompt = format_prompt(tools)

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "What is the weather in Seattle?"},
]

model_inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=32768)
generated_ids = [
    output_ids[len(input_ids) :]
    for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

✨ 主な機能

• 多ターン関数呼び出し：複数の対話ターンにわたって文脈の連続性を維持し、入れ子または進化するツールの使用を伴う自然な継続的な会話を可能にします。
• 多段階関数呼び出し：複雑なタスクを完了するために一連の関数呼び出しを計画して実行します。中間結果に基づいて動的に適応し、目標をサブタスクに分解します。
• エージェント機能：シームレスなツールの調整とエラー回復を伴う複雑なエージェントタスクの高度な意思決定とワークフロー管理。

📦 インストール

このモデルのコードはHugging Faceのtransformersライブラリに含まれています。最新バージョンをインストールすることをお勧めします。

pip install transformers>=4.51.0

💻 使用例

基本的な使用法

上記のクイックスタートコードを参照してください。このコードでは、モデルを使用して天気情報を取得するための関数呼び出しを行っています。

📚 ドキュメント

モデルの詳細な情報や微調整、推論、デプロイに関する情報は、Githubを参照してください。

🔧 技術詳細

このモデルは、llama.cppを使用してコミット0142961aで生成されました。

📄 ライセンス

Arch-Agentコレクションは、Katanemoライセンスの下で配布されています。

その他の情報

パフォーマンスベンチマーク

このモデルはBerkeley Function-Calling Leaderboard (BFCL)で評価されています。2025年6月14日現在の結果は以下の画像に示されています。

⚠️ 重要提示

評価にはYaRNスケーリングを使用してモデルをデプロイし、すべてのArch-Agentモデルはコンテキスト長64Kで評価されています。

テストに関する情報

もしこれらのモデルが役に立つと思われる場合は、AI搭載の量子ネットワークモニターアシスタントのテストを手伝ってください。 👉 量子ネットワークモニター

量子ネットワークモニターサービスの完全なオープンソースコードは、githubのリポジトリ（NetworkMonitorという名前のリポジトリ）で入手できます。量子ネットワークモニターのソースコード また、自分でモデルを量子化したい場合は、使用しているコードもGGUFModelBuilderで見つけることができます。

💬 テスト方法：
以下のAIアシスタントタイプから選択してください。

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugginfaceのオープンソースモデル)
• TestLLM (実験的なCPU専用モデル)

テスト内容

このテストでは、AIネットワークモニタリング用の小規模オープンソースモデルの限界を追求しています。具体的には以下の点をテストしています。

• ライブネットワークサービスに対する関数呼び出し
• 以下のタスクを処理しながらモデルをどれだけ小さくできるか
  • 自動化されたNmapセキュリティスキャン
  • 量子対応チェック
  • ネットワークモニタリングタスク

🟡 TestLLM – 現在の実験的モデル（huggingfaceのDockerスペースで2つのCPUスレッドで動作するllama.cpp）：

• ✅ ゼロコンフィギュレーションセットアップ
• ⏳ 30秒の読み込み時間（推論は遅いがAPIコストがかからない）。コストが低いためトークン制限がありません。
• 🔧 協力者募集！ もしあなたがエッジデバイスAIに興味があるなら、一緒に協力しましょう！

その他のアシスタント

🟢 TurboLLM – gpt-4.1-miniを使用：

• パフォーマンスは非常に高いですが、残念ながらOpenAIはトークンごとに課金します。そのため、トークンの使用量に制限があります。
• 量子ネットワークモニターエージェントで.netコードを実行するカスタムコマンドプロセッサを作成
• リアルタイムネットワーク診断とモニタリング
• セキュリティ監査
• ペネトレーションテスト (Nmap/Metasploit)

🔵 HugLLM – 最新のオープンソースモデル：

• 🌐 Hugging Face Inference APIで動作します。Novitaにホストされている最新のモデルを使用して、かなり良いパフォーマンスを発揮します。

💡 テストできるコマンド例：

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a comprehensive security audit on my server"
4. '"Create a cmd processor to .. (what ever you want)" 注：.netコードを実行するには、量子ネットワークモニターエージェントをインストールする必要があります。これは非常に柔軟で強力な機能です。注意して使用してください！

最後に

これらのモデルファイルを作成するために使用するサーバーの費用、量子ネットワークモニターサービスを実行するための費用、NovitaとOpenAIからの推論の費用はすべて私の私費で負担しています。モデル作成と量子ネットワークモニタープロジェクトの背後にあるすべてのコードはオープンソースです。役に立つものがあれば自由に使用してください。

もしあなたがこの仕事を評価してくれるなら、コーヒーを買ってくれることをご検討ください ☕。あなたの支援はサービスの費用を賄い、みんなのトークン制限を引き上げることができます。

また、仕事の機会やスポンサーシップも歓迎しています。

ありがとうございます！ 😊