Fine Tuned Codegen 6B Verilog

🚀 VeriGen

VeriGenは、Verilogコード生成に特化したモデルです。Verilogコードデータセットを用いてFine-tuningされ、Verilogコードの生成に役立ちます。

🚀 クイックスタート

目次

1. モデル概要
2. 使用方法
3. 制限事項
4. 学習
5. ライセンス
6. 引用

📚 詳細ドキュメント

🔍 モデル概要

VeriGenモデルは、CodeGen-multi-16B を60億パラメータでFine-tuningしたモデルで、Verilogコードデータセット を使用して学習されています。

• リポジトリ: shailja-thakur/VGen
• ベースラインLLM SalesForce/CodeGen
• 論文: Benchmarking Large Language Models for Automated Verilog RTL Code Generation
• 問い合わせ先: contact@shailja
• 言語: Verilog (ハードウェア記述言語)

💻 使用例

基本的な使用法

# pip install -q transformers
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Prompt
prompt = "//module half adder "
device='cuda'
# Load model and tokenizer
model_name = "shailja/fine-tuned-codegen-6B-Verilog"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

# Sample
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
sample = model.generate(input_ids, max_length=128, temperature=0.5, top_p=0.9)

print(tokenizer.decode(sample[0], truncate_before_pattern=[r"endmodule"]) + "endmodule")

📋 帰属とその他の要件

このモデルの事前学習データセットは、許容ライセンスのみでフィルタリングされていません。それにもかかわらず、モデルはデータセットからソースコードをそのまま生成することができます。コードのライセンスには、帰属やその他の特定の要件が必要な場合があり、それらを尊重する必要があります。

⚠️ 制限事項

このモデルは、オープンソースのVerilogソースコードを使用して学習されています。ソースコードの主な自然言語は英語ですが、他の言語も含まれています。そのため、モデルはある程度のコンテキストを与えることでVerilogスニペットを生成することができますが、生成されたコードが意図した通りに動作することは保証されません。非効率であったり、バグや脆弱性を含んでいる可能性があります。モデルの制限事項についての詳細な議論は、論文 を参照してください。

📈 学習

モデル

• アーキテクチャ: マルチクエリアテンションを持つGPT-2モデル
• 事前学習ステップ: 150k
• 事前学習トークン: ~72B
• 精度: fp16

ハードウェア

• GPU: 4台のTesla A100
• 学習時間: 10日

📄 ライセンス

このモデルは、BigCode OpenRAIL-M v1ライセンス契約の下でライセンスされています。完全な契約はこちら で確認できます。

📖 引用

@misc{https://doi.org/10.48550/arxiv.2212.11140,
  doi = {10.48550/ARXIV.2212.11140},
  url = {https://arxiv.org/abs/2212.11140},
  author = {Thakur, Shailja and Ahmad, Baleegh and Fan, Zhenxing and Pearce, Hammond and Tan, Benjamin and Karri, Ramesh and Dolan-Gavitt, Brendan and Garg, Siddharth},
  title = {Benchmarking Large Language Models for Automated Verilog RTL Code Generation},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}