🚀 VeriGen
VeriGen是一款基於Verilog代碼數據集訓練的模型,可用於自動生成Verilog RTL代碼,為硬件描述語言的代碼生成提供了有力支持。
🚀 快速開始
目錄
- 模型概述
- 使用方法
- 侷限性
- 訓練詳情
- 許可證
- 引用方式
✨ 主要特性
模型概述
VeriGen模型是一個具有60億參數的微調版本模型,基於CodeGen-multi-16B在Verilog代碼數據集上進行訓練。
💻 使用示例
預期用途
該模型在來自GitHub和教科書的Verilog代碼上進行訓練,它不是一個指令模型,像“編寫一個實現2對1多路複用器的模塊”這樣的命令效果不佳。然而,在提示中添加部分模塊頭信息(如“module mux”),它就能成為一個出色的Verilog教學助手。
歡迎在社區板塊分享你的生成結果!
基礎用法
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
prompt = "//module half adder "
device='cuda'
model_name = "shailja/fine-tuned-codegen-6B-Verilog"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
sample = model.generate(input_ids, max_length=128, temperature=0.5, top_p=0.9)
print(tokenizer.decode(sample[0], truncate_before_pattern=[r"endmodule"]) + "endmodule")
歸屬與其他要求
該模型的預訓練數據集並非僅篩選了允許使用的許可證。因此,模型可能會逐字生成數據集中的源代碼。代碼的許可證可能要求歸屬聲明和/或其他特定要求,必須予以遵守。
🔧 技術細節
侷限性
該模型在開源的Verilog源代碼上進行訓練。源代碼中主要使用的自然語言是英語,不過也包含其他語言。因此,該模型能夠在一定上下文下生成Verilog代碼片段,但生成的代碼不能保證按預期工作。代碼可能效率低下、包含錯誤或漏洞。有關模型侷限性的深入討論,請參閱相關論文。
訓練詳情
模型
- 架構:具有多查詢注意力機制的GPT - 2模型
- 預訓練步驟:150k
- 預訓練令牌:約720億
- 精度:fp16
硬件
- GPU:4塊Tesla A100
- 訓練時間:10天
📄 許可證
該模型遵循BigCode OpenRAIL - M v1許可協議。你可以在此處查看完整協議。
📚 詳細文檔
引用方式
@misc{https://doi.org/10.48550/arxiv.2212.11140,
doi = {10.48550/ARXIV.2212.11140},
url = {https://arxiv.org/abs/2212.11140},
author = {Thakur, Shailja and Ahmad, Baleegh and Fan, Zhenxing and Pearce, Hammond and Tan, Benjamin and Karri, Ramesh and Dolan-Gavitt, Brendan and Garg, Siddharth},
title = {Benchmarking Large Language Models for Automated Verilog RTL Code Generation},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}