Codev R1 Distill Qwen 7B

🚀 CodeV-R1-Distill-Qwen-7B

CodeV-R1-Distill-Qwen-7B 是从 DeepSeek-R1 中使用 CodeV 数据集提炼出来的模型。该模型在主要的 Verilog 基准测试中优于先前的非推理大语言模型，展示了卓越的代码合成和问题解决能力。此外，提炼 Verilog 代码还增强了模型的数学推理能力，表明以硬件为中心的训练与一般逻辑推理之间存在更广泛的协同作用。

🚀 快速开始

CodeV-R1-Distill-Qwen-7B 可以像 Qwen 或 Llama 模型一样使用。例如，你可以使用 vLLM 轻松启动一个服务：

vllm serve zhuyaoyu/CodeV-R1-Distill-Qwen-7B --tensor-parallel-size 2 --max-model-len 16384 --enforce-eager

💡 使用建议

在训练和评估期间，我们使用了一个系统提示：

You are a helpful assistant. The assistant first thinks about the reasoning process in the mind and then provides the user with the answer. The reasoning process and answer are enclosed within <think> </think> and<answer> </answer> tags, respectively, i.e., <think> reasoning process here </think><answer> answer here </answer>.  Now the user asks you to write verilog code. After thinking, when you finally reach a conclusion, enclose the final verilog code in ```verilog ``` within <answer> </answer> tags. i.e., <answer> ```verilog\n module top_module(in, out, ...) ... ``` </answer>.\n

建议使用此提示。

✨ 主要特性

大语言模型（LLM）的后训练阶段发展迅速，如 OpenAI 的 GPT-o1、DeepSeek-R1 和 Kimi-1.5 等模型展现出了卓越的推理能力。然而，像 Verilog 这样的硬件描述语言（HDL）面临着类似低资源语言的挑战，包括高质量指令跟随数据有限以及模型在生成准确的寄存器传输级（RTL）代码方面的能力受限。为了解决这些问题，我们提出利用知识蒸馏为较小、高效的模型赋予类似 DeepSeek-R1 的推理能力。

作为 CodeV 工作的延续，我们引入了 CodeV-R1-Distill-Qwen-7B。该模型具有以下特性：

• 性能优越：在主要的 Verilog 基准测试中，该模型优于先前的非推理大语言模型，展示了卓越的代码合成和问题解决能力。
• 增强推理能力：提炼 Verilog 代码还增强了模型的数学推理能力，表明以硬件为中心的训练与一般逻辑推理之间存在更广泛的协同作用。

📦 安装指南

文档未提及安装相关内容，故跳过该章节。

💻 使用示例

基础用法

使用 vLLM 启动服务的示例：

vllm serve zhuyaoyu/CodeV-R1-Distill-Qwen-7B --tensor-parallel-size 2 --max-model-len 16384 --enforce-eager

📚 详细文档

模型概述

数据准备

最初，我们使用 Deepseek-v3 对原始 CodeV 数据集中的问题进行重新总结和表述。然后，我们过滤掉那些 Qwen2.5-Coder-7B-Instruct 和 Qwen2.5-Coder-32B-Instruct 在五次尝试内能够解决的简单问题，以及存在不可综合问题的问题。对于剩余的数据，我们使用 DeepSeek-R1 为每个问题生成一个响应。与基准测试问题相比，Rouge-L 分数大于 0.5 的问题也会被过滤掉。经过这些处理后，大约剩下 87,000 个（问题，代码）对。

训练过程

我们使用 LLaMAFactory 对 Qwen2.5-Coder-7B-Instruct 进行监督微调（SFT），使用这 87,000 对精炼后的数据集。训练进行了六个 epoch，学习率为 1e-5，批量大小为 64。

评估结果

在评估阶段，最大生成长度配置为 16,384 个 token。应用了 0.6 的温度设置，每个查询生成 20 个响应以估计 pass@1 分数。

我们的评估涵盖了 Verilog 基准测试，包括 VerilogEval 和 RTLLM。对于 VerilogEval v2，我们研究了规范到 RTL 翻译和代码完成任务中的零样本场景。对于 RTLLM，报告的是版本 1.1 的结果，该版本提供了更广泛的比较分析。此外，我们发现通过 DeepSeek-R1 获得的 Verilog 问题推理过程增强了模型的域外数学能力。

VerilogEval (v2)

RTLLM (v1.1)

数学评估

🔧 技术细节

文档未提及技术实现细节相关内容，故跳过该章节。

📄 许可证

CodeV-R1-Distill-Qwen-7B 源自 Qwen-2.5 系列，该系列最初根据 Apache 2.0 许可证 许可，现在使用由 DeepSeek-R1 整理的 87k 样本进行微调。

引用

@misc{CodeV-R1-Distill-Qwen-7B,
  author = {IPRC-DIP},
  title = {CodeV Model Distilled from DeepSeek-R1},
  url = {https://huggingface.co/zhuyaoyu/CodeV-R1-Distill-Qwen-7B},
  year = {2025}
}