PARD Llama 3.2 1B

🚀 PARD：通过低成本并行草稿模型自适应加速大语言模型推理

PARD是一种高性能的推测解码方法，它能够以低成本将自回归草稿模型转换为并行草稿模型。该方法为大语言模型推理带来显著加速，降低了模型训练和部署成本。

| 论文 | 代码库 | 博客 |

🚀 快速开始

若想了解更多使用信息，请访问 PARD 代码库。

✨ 主要特性

PARD具有以下显著优势：

• 低成本训练：PARD能以极小的开销将自回归（AR）草稿模型转换为并行草稿模型。与纯AR草稿模型相比，PARD平均推理速度提升1.78倍。通过引入条件丢弃令牌策略，PARD在保持相同精度水平的同时，将训练效率提高了3倍。
• 泛化性强：由于其与目标无关的设计，单个PARD草稿模型可以加速整个目标模型家族。这与Medusa和EAGLE等依赖目标的方法形成鲜明对比，后者需要为每个新目标进行重新训练或调整。因此，PARD显著降低了部署复杂性和适配成本。
• 高性能：当集成到名为Transformers+的优化推理框架中时，PARD的加速比高达4.08倍，LLaMA3.1 8B达到了每秒311.5个令牌的最先进速度。当集成到vLLM中时，PARD的加速比高达3.06倍，比vLLM中的其他推测解码方法快1.51倍。

📦 模型权重

📄 许可证

本项目采用MIT许可证。

📚 引用

如果您在研究中使用了PARD，请引用以下论文：

@article{an2025pard,
  title={PARD: Accelerating LLM Inference with Low-Cost PARallel Draft Model Adaptation},
  author={An, Zihao and Bai, Huajun and Liu, Ziqiong and Li, Dong and Barsoum, Emad},
  journal={arXiv preprint arXiv:2504.18583},
  year={2025}
}