Patched Coder 34b

🚀 patched-coder-34b

このモデルはコードの修正タスクに特化した命令微調整モデルです。修正には、バグの修正、セキュリティ脆弱性の修復、APIの移行、その他の種類のコードメンテナンスが含まれます。

🚀 クイックスタート

このモデルを使用するには、まずTransformersをメインのgitブランチからインストールする必要があります。

pip install git+https://github.com/huggingface/transformers.git

✨ 主な機能

このモデルは、コードの修正タスクに特化しており、バグの修正、セキュリティ脆弱性の修復、APIの移行、その他の種類のコードメンテナンスを行うことができます。

📦 インストール

Transformersをメインのgitブランチからインストールします。

pip install git+https://github.com/huggingface/transformers.git

💻 使用例

基本的な使用法

このモデルはalpaca命令形式を受け入れます。

### Instruction:
{instruction}

### Input:
{input}

### Response:
...

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: codelion
• モデルの種類: Code Llama
• 微調整元のモデル: CodeLlama-34b-Python

バイアス、リスク、および制限事項

このモデルは非常に限られたテストしか受けていません。実際のデプロイ前に追加の安全性テストを行う必要があります。

トレーニングの詳細

• GPU: A100 80 GB
• 時間: ~8時間

トレーニングデータ

このモデルは、commitpackftというコミットからなるオープンデータセットで微調整されました。データセットからpython言語のコミットを開始し、バグ修正に関連するすべてのコミットをフィルタリングしました。

トレーニング手順

自然言語でのコードに関する命令に従うための命令微調整を行います。4ビットで量子化されたベースモデルをロードし、Flash Attentionを使用してQLoRAによるパラメータ効率的微調整（PEFT）を行います。モデルは2エポックでトレーニングされました。

トレーニングハイパーパラメータ

トレーニング体制:

トレーニング中に次のbitsandbytes量子化設定が使用されました。

• quant_method: bitsandbytes
• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: True
• bnb_4bit_compute_dtype: bfloat16

評価

このモデルは、Code Generation LM Evaluation Harnessを使用して、HumanEval（コード生成用）とHumanEvalFix Python（バグ修正用）のベンチマークで評価されました。

脆弱性修復についてのモデルを評価するために、ここで利用可能なStatic Analysis Evalベンチマークを使用しました。

結果

これらのベンチマークの結果に基づくと、patched-coder-34bは最先端のオープンコードLLMです。他のコードLLM（例えば、WizardCoderやPhindのもの）は、未知の独自データセットでトレーニングされているか、OpenAIのAPIをトレーニングに使用しているため、商用利用には適さない場合があります。

📄 ライセンス

このモデルはLlama 2ライセンスの下で提供されています。