Fine Tuned Codegen 16B Verilog

🚀 VeriGen

VeriGenは、Verilogコード生成に特化したモデルです。Verilogコードデータセットを用いてFine-tuningされ、Verilogコードの自動生成に役立ちます。

🚀 クイックスタート

目次

1. モデル概要
2. 使用方法
3. 制限事項
4. 学習
5. ライセンス
6. 引用

📚 ドキュメント

モデル概要

VeriGenモデルは、CodeGen-multi-16B をベースに、Verilogコードデータセット でFine-tuningされた16Bパラメータのモデルです。

• リポジトリ: shailja-thakur/VGen
• ベースラインLLM SalesForce/CodeGen
• 論文: Benchmarking Large Language Models for Automated Verilog RTL Code Generation
• 問い合わせ先: contact@shailja
• 言語: Verilog (ハードウェア記述言語)

使用方法

想定される使用方法

このモデルは、GitHubや教科書から収集したVerilogコードで学習されています。したがって、命令型のモデルではなく、「2-to-1 Muxを実装するモジュールを書け」のようなコマンドはうまく機能しません。ただし、プロンプトに「module mux」のようなモジュールヘッダの部分を追加すると、Verilogのコード生成に役立ちます。

コミュニティタブで生成結果を共有することを自由に行ってください！

生成コード例

# pip install -q transformers
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Prompt
prompt = "//module half adder "
device='cuda'
# Load model and tokenizer
model_name = "shailja/fine-tuned-codegen-16B-Verilog"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

# Sample
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
sample = model.generate(input_ids, max_length=128, temperature=0.5, top_p=0.9)

print(tokenizer.decode(sample[0], truncate_before_pattern=[r"endmodule"]) + "endmodule")

帰属とその他の要件

このモデルの事前学習データセットは、許容ライセンスのみでフィルタリングされていません。そのため、モデルはデータセットからソースコードをそのまま生成することがあります。コードのライセンスには、帰属やその他の特定の要件が含まれている場合があり、それらを尊重する必要があります。

制限事項

このモデルは、オープンソースのVerilogソースコードで学習されています。ソースコードの主な自然言語は英語ですが、他の言語も含まれています。したがって、モデルはある程度のコンテキストが与えられればVerilogのスニペットを生成できますが、生成されたコードが意図通りに動作することは保証されません。非効率なコードやバグ、脆弱性が含まれている可能性があります。モデルの制限事項についての詳細な議論は、論文 を参照してください。

学習

モデル

• アーキテクチャ: マルチクエリアテンションを持つGPT-2モデル
• 事前学習ステップ: 150k
• 事前学習トークン: ~72B
• 精度: fp16

ハードウェア

• GPU: 4台のTesla A100
• 学習時間: 15日

ライセンス

このモデルは、BigCode OpenRAIL-M v1ライセンス契約の下で提供されています。完全な契約内容は こちら で確認できます。

引用

@misc{https://doi.org/10.48550/arxiv.2212.11140,
  doi = {10.48550/ARXIV.2212.11140},
  url = {https://arxiv.org/abs/2212.11140},
  author = {Thakur, Shailja and Ahmad, Baleegh and Fan, Zhenxing and Pearce, Hammond and Tan, Benjamin and Karri, Ramesh and Dolan-Gavitt, Brendan and Garg, Siddharth},
  title = {Benchmarking Large Language Models for Automated Verilog RTL Code Generation},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org perpetual, non-exclusive license}
}

情報テーブル

重要提示

⚠️ 重要提示

モデルのライセンス契約に同意する前に、BigCodeの OpenRAIL-Mライセンス 契約を読んでください。