Fine Tuned Codegen 6B Verilog

🚀 VeriGen

VeriGen是一款基於Verilog代碼數據集訓練的模型，可用於自動生成Verilog RTL代碼，為硬件描述語言的代碼生成提供了有力支持。

🚀 快速開始

目錄

1. 模型概述
2. 使用方法
3. 侷限性
4. 訓練詳情
5. 許可證
6. 引用方式

✨ 主要特性

模型概述

VeriGen模型是一個具有60億參數的微調版本模型，基於CodeGen-multi-16B在Verilog代碼數據集上進行訓練。

• 倉庫地址：shailja-thakur/VGen
• 基礎大語言模型：SalesForce/CodeGen
• 相關論文： Benchmarking Large Language Models for Automated Verilog RTL Code Generation
• 聯繫方式：contact@shailja
• 支持語言：Verilog（硬件描述語言）

💻 使用示例

預期用途

該模型在來自GitHub和教科書的Verilog代碼上進行訓練，它不是一個指令模型，像“編寫一個實現2對1多路複用器的模塊”這樣的命令效果不佳。然而，在提示中添加部分模塊頭信息（如“module mux”），它就能成為一個出色的Verilog教學助手。

歡迎在社區板塊分享你的生成結果！

基礎用法

# pip install -q transformers
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Prompt
prompt = "//module half adder "
device='cuda'
# Load model and tokenizer
model_name = "shailja/fine-tuned-codegen-6B-Verilog"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

# Sample
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
sample = model.generate(input_ids, max_length=128, temperature=0.5, top_p=0.9)

print(tokenizer.decode(sample[0], truncate_before_pattern=[r"endmodule"]) + "endmodule")

歸屬與其他要求

該模型的預訓練數據集並非僅篩選了允許使用的許可證。因此，模型可能會逐字生成數據集中的源代碼。代碼的許可證可能要求歸屬聲明和/或其他特定要求，必須予以遵守。

🔧 技術細節

侷限性

該模型在開源的Verilog源代碼上進行訓練。源代碼中主要使用的自然語言是英語，不過也包含其他語言。因此，該模型能夠在一定上下文下生成Verilog代碼片段，但生成的代碼不能保證按預期工作。代碼可能效率低下、包含錯誤或漏洞。有關模型侷限性的深入討論，請參閱相關論文。

訓練詳情

模型

• 架構：具有多查詢注意力機制的GPT - 2模型
• 預訓練步驟：150k
• 預訓練令牌：約720億
• 精度：fp16

硬件

• GPU：4塊Tesla A100
• 訓練時間：10天

📄 許可證

該模型遵循BigCode OpenRAIL - M v1許可協議。你可以在此處查看完整協議。

📚 詳細文檔

引用方式

@misc{https://doi.org/10.48550/arxiv.2212.11140,
  doi = {10.48550/ARXIV.2212.11140},
  url = {https://arxiv.org/abs/2212.11140},
  author = {Thakur, Shailja and Ahmad, Baleegh and Fan, Zhenxing and Pearce, Hammond and Tan, Benjamin and Karri, Ramesh and Dolan-Gavitt, Brendan and Garg, Siddharth},
  title = {Benchmarking Large Language Models for Automated Verilog RTL Code Generation},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}