Aceinstruct 1.5B GGUF

🚀 AceInstruct-1.5B GGUF模型

AceInstruct是一系列用于编码、数学和通用任务的先进SFT模型。该系列包括AceInstruct-1.5B、7B和72B等模型，在多个基准测试中表现出色，性能可与Qwen2.5-Instruct相媲美。

🚀 快速开始

模型生成详情

此模型使用 llama.cpp 在提交版本 b9c3eefd 时生成。

选择合适的GGUF模型格式

点击此处获取选择合适GGUF模型格式的信息

✨ 主要特性

模型介绍

我们推出了AceInstruct，这是一系列用于编码、数学和通用任务的先进SFT模型。AceInstruct系列包括AceInstruct-1.5B、7B和72B，使用Qwen进行了改进。这些模型在Qwen2.5-Base上使用 通用SFT数据集 进行了微调。相同的数据集也用于 AceMath-Instruct 的训练。与专门用于数学问题的AceMath-Instruct不同，AceInstruct用途广泛，可应用于多个领域。在编码、数学和常识任务的基准评估中，AceInstruct的性能与Qwen2.5-Instruct相当。

欲了解更多关于AceInstruct的信息，请查看我们的 网站 和 论文。

基准测试结果

我们在编码、数学和常识任务中对AceInstruct和Qwen2.5-Instruct进行了比较。我们发现，AceInstruct-1.5B的性能优于Qwen2.5-1.5B-Instruct（61.94 vs. 57.33），而AceInstruct-7B和AceInstruct-72B的性能与Qwen2.5-7B-Instruct和Qwen2.5-72B-Instruct相当。

所有资源

AceMath指令模型

• AceMath-1.5B-Instruct
• AceMath-7B-Instruct
• AceMath-72B-Instruct

AceMath奖励模型

• AceMath-7B-RM
• AceMath-72B-RM

评估与训练数据

• AceMath-RewardBench
• AceMath-Instruct训练数据
• AceMath-RM训练数据

通用指令模型

• AceInstruct-1.5B
• AceInstruct-7B
• AceInstruct-72B

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "AceInstruct-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Tell me something about artificial intelligence."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 详细文档

联系方式

• Zihan Liu (zihanl@nvidia.com)
• Yang Chen (yachen@nvidia.com)
• Wei Ping (wping@nvidia.com)

引用

如果您觉得我们的工作有帮助，请引用我们：

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}

许可证

AceInstruct系列的所有模型仅用于非商业用途，需遵守 OpenAI生成数据的使用条款。我们将AceInstruct模型置于 知识共享署名-非商业性使用 4.0 国际许可协议 之下。

🔧 测试AI网络监控模型

测试邀请

如果您觉得这些模型有用，请帮助我测试我的 AI驱动的量子网络监控助手，进行 量子就绪安全检查： 量子网络监控

量子网络监控服务的完整开源代码可在我的GitHub仓库（名称中包含NetworkMonitor的仓库）中找到：量子网络监控源代码。如果您想自己对模型进行量化，也可以找到我使用的代码：GGUFModelBuilder

测试方法

选择一种 AI助手类型：

• TurboLLM (GPT-4.1-mini)
• HugLLM (Hugging Face开源模型)
• TestLLM (仅支持CPU的实验性模型)

测试内容

我正在探索 小型开源模型在AI网络监控中的极限，具体包括：

• 针对实时网络服务的 函数调用
• 模型可以多小 同时仍能处理以下任务：
  • 自动 Nmap安全扫描
  • 量子就绪检查
  • 网络监控任务

实验性模型TestLLM

当前的实验性模型（在Hugging Face Docker空间的2个CPU线程上运行llama.cpp）：

• ✅ 零配置设置
• ⏳ 加载时间30秒（推理速度慢，但 无API成本）。由于成本低，无令牌限制。
• 🔧 寻求帮助！ 如果您对 边缘设备AI 感兴趣，让我们合作吧！

其他助手

TurboLLM

使用 gpt-4.1-mini：

• 性能非常好，但不幸的是，OpenAI按令牌收费。因此，令牌使用受限。
• 创建自定义cmd处理器，在量子网络监控代理上运行.NET代码
• 实时网络诊断和监控
• 安全审计
• 渗透测试 (Nmap/Metasploit)

HugLLM

最新的开源模型：

• 🌐 在Hugging Face推理API上运行。使用Novita托管的最新模型，性能相当不错。

测试命令示例

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a comprehensive security audit on my server"
4. "Create a cmd processor to .. (what ever you want)" 注意，您需要安装 量子网络监控代理 才能运行.NET代码。这是一个非常灵活和强大的功能，请谨慎使用！

结束语

我自费资助用于创建这些模型文件的服务器、运行量子网络监控服务，并支付Novita和OpenAI的推理费用。模型创建和量子网络监控项目背后的所有代码都是 开源的。您可以自由使用任何有用的内容。

如果您欣赏我的工作，请考虑 请我喝杯咖啡 ☕。您的支持有助于支付服务成本，并让我提高每个人的令牌限制。

我也接受工作机会或赞助。

感谢您！😊