Fine Tuned Codegen 6B Verilog

🚀 VeriGen

VeriGen是一款基于Verilog代码数据集训练的模型，可用于自动生成Verilog RTL代码，为硬件描述语言的代码生成提供了有力支持。

🚀 快速开始

目录

1. 模型概述
2. 使用方法
3. 局限性
4. 训练详情
5. 许可证
6. 引用方式

✨ 主要特性

模型概述

VeriGen模型是一个具有60亿参数的微调版本模型，基于CodeGen-multi-16B在Verilog代码数据集上进行训练。

• 仓库地址：shailja-thakur/VGen
• 基础大语言模型：SalesForce/CodeGen
• 相关论文： Benchmarking Large Language Models for Automated Verilog RTL Code Generation
• 联系方式：contact@shailja
• 支持语言：Verilog（硬件描述语言）

💻 使用示例

预期用途

该模型在来自GitHub和教科书的Verilog代码上进行训练，它不是一个指令模型，像“编写一个实现2对1多路复用器的模块”这样的命令效果不佳。然而，在提示中添加部分模块头信息（如“module mux”），它就能成为一个出色的Verilog教学助手。

欢迎在社区板块分享你的生成结果！

基础用法

# pip install -q transformers
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Prompt
prompt = "//module half adder "
device='cuda'
# Load model and tokenizer
model_name = "shailja/fine-tuned-codegen-6B-Verilog"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

# Sample
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
sample = model.generate(input_ids, max_length=128, temperature=0.5, top_p=0.9)

print(tokenizer.decode(sample[0], truncate_before_pattern=[r"endmodule"]) + "endmodule")

归属与其他要求

该模型的预训练数据集并非仅筛选了允许使用的许可证。因此，模型可能会逐字生成数据集中的源代码。代码的许可证可能要求归属声明和/或其他特定要求，必须予以遵守。

🔧 技术细节

局限性

该模型在开源的Verilog源代码上进行训练。源代码中主要使用的自然语言是英语，不过也包含其他语言。因此，该模型能够在一定上下文下生成Verilog代码片段，但生成的代码不能保证按预期工作。代码可能效率低下、包含错误或漏洞。有关模型局限性的深入讨论，请参阅相关论文。

训练详情

模型

• 架构：具有多查询注意力机制的GPT - 2模型
• 预训练步骤：150k
• 预训练令牌：约720亿
• 精度：fp16

硬件

• GPU：4块Tesla A100
• 训练时间：10天

📄 许可证

该模型遵循BigCode OpenRAIL - M v1许可协议。你可以在此处查看完整协议。

📚 详细文档

引用方式

@misc{https://doi.org/10.48550/arxiv.2212.11140,
  doi = {10.48550/ARXIV.2212.11140},
  url = {https://arxiv.org/abs/2212.11140},
  author = {Thakur, Shailja and Ahmad, Baleegh and Fan, Zhenxing and Pearce, Hammond and Tan, Benjamin and Karri, Ramesh and Dolan-Gavitt, Brendan and Garg, Siddharth},
  title = {Benchmarking Large Language Models for Automated Verilog RTL Code Generation},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}