Aceinstruct 1.5B GGUF

🚀 AceInstruct-1.5B GGUF模型

AceInstruct是一系列用於編碼、數學和通用任務的先進SFT模型。該系列包括AceInstruct-1.5B、7B和72B等模型，在多個基準測試中表現出色，性能可與Qwen2.5-Instruct相媲美。

🚀 快速開始

模型生成詳情

此模型使用 llama.cpp 在提交版本 b9c3eefd 時生成。

選擇合適的GGUF模型格式

點擊此處獲取選擇合適GGUF模型格式的信息

✨ 主要特性

模型介紹

我們推出了AceInstruct，這是一系列用於編碼、數學和通用任務的先進SFT模型。AceInstruct系列包括AceInstruct-1.5B、7B和72B，使用Qwen進行了改進。這些模型在Qwen2.5-Base上使用 通用SFT數據集 進行了微調。相同的數據集也用於 AceMath-Instruct 的訓練。與專門用於數學問題的AceMath-Instruct不同，AceInstruct用途廣泛，可應用於多個領域。在編碼、數學和常識任務的基準評估中，AceInstruct的性能與Qwen2.5-Instruct相當。

欲瞭解更多關於AceInstruct的信息，請查看我們的 網站 和 論文。

基準測試結果

我們在編碼、數學和常識任務中對AceInstruct和Qwen2.5-Instruct進行了比較。我們發現，AceInstruct-1.5B的性能優於Qwen2.5-1.5B-Instruct（61.94 vs. 57.33），而AceInstruct-7B和AceInstruct-72B的性能與Qwen2.5-7B-Instruct和Qwen2.5-72B-Instruct相當。

所有資源

AceMath指令模型

• AceMath-1.5B-Instruct
• AceMath-7B-Instruct
• AceMath-72B-Instruct

AceMath獎勵模型

• AceMath-7B-RM
• AceMath-72B-RM

評估與訓練數據

• AceMath-RewardBench
• AceMath-Instruct訓練數據
• AceMath-RM訓練數據

通用指令模型

• AceInstruct-1.5B
• AceInstruct-7B
• AceInstruct-72B

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "AceInstruct-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Tell me something about artificial intelligence."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 詳細文檔

聯繫方式

• Zihan Liu (zihanl@nvidia.com)
• Yang Chen (yachen@nvidia.com)
• Wei Ping (wping@nvidia.com)

引用

如果您覺得我們的工作有幫助，請引用我們：

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}

許可證

AceInstruct系列的所有模型僅用於非商業用途，需遵守 OpenAI生成數據的使用條款。我們將AceInstruct模型置於 知識共享署名-非商業性使用 4.0 國際許可協議 之下。

🔧 測試AI網絡監控模型

測試邀請

如果您覺得這些模型有用，請幫助我測試我的 AI驅動的量子網絡監控助手，進行 量子就緒安全檢查： 量子網絡監控

量子網絡監控服務的完整開源代碼可在我的GitHub倉庫（名稱中包含NetworkMonitor的倉庫）中找到：量子網絡監控源代碼。如果您想自己對模型進行量化，也可以找到我使用的代碼：GGUFModelBuilder

測試方法

選擇一種 AI助手類型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugging Face開源模型)
• TestLLM (僅支持CPU的實驗性模型)

測試內容

我正在探索 小型開源模型在AI網絡監控中的極限，具體包括：

• 針對即時網絡服務的 函數調用
• 模型可以多小 同時仍能處理以下任務：
  • 自動 Nmap安全掃描
  • 量子就緒檢查
  • 網絡監控任務

實驗性模型TestLLM

當前的實驗性模型（在Hugging Face Docker空間的2個CPU線程上運行llama.cpp）：

• ✅ 零配置設置
• ⏳ 加載時間30秒（推理速度慢，但 無API成本）。由於成本低，無令牌限制。
• 🔧 尋求幫助！ 如果您對 邊緣設備AI 感興趣，讓我們合作吧！

其他助手

TurboLLM

使用 gpt-4.1-mini：

• 性能非常好，但不幸的是，OpenAI按令牌收費。因此，令牌使用受限。
• 創建自定義cmd處理器，在量子網絡監控代理上運行.NET代碼
• 即時網絡診斷和監控
• 安全審計
• 滲透測試 (Nmap/Metasploit)

HugLLM

最新的開源模型：

• 🌐 在Hugging Face推理API上運行。使用Novita託管的最新模型，性能相當不錯。

測試命令示例

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a comprehensive security audit on my server"
4. "Create a cmd processor to .. (what ever you want)" 注意，您需要安裝 量子網絡監控代理 才能運行.NET代碼。這是一個非常靈活和強大的功能，請謹慎使用！

結束語

我自費資助用於創建這些模型文件的服務器、運行量子網絡監控服務，並支付Novita和OpenAI的推理費用。模型創建和量子網絡監控項目背後的所有代碼都是 開源的。您可以自由使用任何有用的內容。

如果您欣賞我的工作，請考慮 請我喝杯咖啡 ☕。您的支持有助於支付服務成本，並讓我提高每個人的令牌限制。

我也接受工作機會或贊助。

感謝您！😊