Deepseek Coder 1.3b Typescript

🚀 deepseek-coder-1.3b-typescript

CodeGPTPlus/deepseek-coder-1.3b-typescript は、deepseek-ai/deepseek-coder-1.3b-base を微調整したモデルです。CodeGPTチームによって慎重に作成され、TypeScriptでの専門的なコード生成に特化しています。TypeScript用に特別に微調整され、0.5Bトークンのデータセットを使用しているため、このプログラミング言語で正確かつ効率的なソリューションを生成することに優れています。

16Kのウィンドウサイズと追加のFill-in-the-Middleタスクを用いて、プロジェクトレベルのコード補完を実現しています。

この新しいモデルは、CodeGPTチームの専門知識を背景に、TypeScript用の専用コード生成器を求めるユーザーに最適な選択肢となります。

評価セットでは以下の結果を達成しています。

• 損失: 0.7681

モデル開発者: CodeGPTチーム バリエーション: 1.3B 入力: モデルはテキストのみを入力とします。 出力: モデルはテキストのみを生成します。

[CodeGPT.co] | [🦙 Ollama] | [Discord] | [VSCode拡張機能]

base_model: deepseek-ai/deepseek-coder-1.3b-base
model_type: AutoModelForCausalLM
trust_remote_code: true
load_in_8bit: false
load_in_4bit: false
strict: false

datasets:
  - path: CodeGPTPlus/typescript-0-500000-seq1024
    type: completion
    field: text

val_set_size: 0.001
output_dir:  ./fft-out

sequence_len: 1024

adapter:
lora_model_dir:
lora_r: 
lora_alpha: 
lora_dropout: 
lora_target_linear: 
lora_fan_in_fan_out:
lora_modules_to_save:

wandb_project: deepseek_1.3_fft
wandb_entity:
wandb_watch:
wandb_name: aws_a10g
wandb_log_model: end

gradient_accumulation_steps: 2
micro_batch_size: 20
num_epochs: 1
optimizer: adamw_bnb_8bit
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 0.000001
max_grad_norm: 1.0
weight_decay: 0.1
lr_scheduler: cosine
learning_rate: 0.00002
train_on_inputs: false
group_by_length: false
bf16: true
fp16: false
tf32: false
gradient_checkpointing: true
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true

loss_watchdog_threshold: 5.0
loss_watchdog_patience: 3

hub_model_id: CodeGPTPlus/deepseek_coder_1.3b_typescript
hub_strategy: every_save
warmup_ratio: 0.01
evals_per_epoch: 20
saves_per_epoch: 3
debug:
deepspeed:

fsdp:
fsdp_config:
special_tokens:
  bos_token: "<｜begin▁of▁sentence｜>"
  eos_token: "<｜end▁of▁sentence｜>"
  pad_token: "<｜end▁of▁sentence｜>"

🚀 クイックスタート

このモデルは補完目的のみに使用されます。以下に、モデルの使用例をいくつか示します。

💻 使用例

基本的な使用法

GPU上でモデルを実行する

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("CodeGPTPlus/deepseek-coder-1.3b-typescript",
                                          trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("CodeGPTPlus/deepseek-coder-1.3b-typescript",
                                              trust_remote_code=True).cuda()

input_text = """<｜fim▁begin｜>function quickSort(arr: number[]): number[] {
  if (arr.length <= 1) {
    return arr;
  }
  const pivot = arr[0];
  const left = [];
  const right = [];
<｜fim▁hole｜>
  return [...quickSort(left), pivot, ...quickSort(right)];
}<｜fim▁end｜>"""

inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高度な使用法

Ollamaで実行する

モデル: https://ollama.ai/codegpt/deepseek-coder-1.3b-typescript

ollama run codegpt/deepseek-coder-1.3b-typescript

OllamaとVSCodeのCodeGPT自動補完で実行する

ドキュメント: https://docs.codegpt.co/docs/tutorial-features/code_autocompletion

自動補完モデルセレクターで「Ollama - codegpt/deepseek-coder-1.3b-typescript」を選択します。

その後、VSCodeのテキストエディターに任意のコードまたはコメントを記述すると、モデルがCodeGPTのコード自動補完機能を通じてコード提案を提供します。

Fill In the Middle (FIM)

<｜fim▁begin｜>function quickSort(arr: number[]): number[] {
  if (arr.length <= 1) {
    return arr;
  }
  const pivot = arr[0];
  const left = [];
  const right = [];
<｜fim▁hole｜>
  return [...quickSort(left), pivot, ...quickSort(right)];
}<｜fim▁end｜>

🔧 技術詳細

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• トレーニングバッチサイズ: 20
• 評価バッチサイズ: 20
• シード: 42
• 勾配累積ステップ: 2
• 総トレーニングバッチサイズ: 40
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-06)
• 学習率スケジューラタイプ: cosine
• 学習率スケジューラウォームアップステップ: 261
• エポック数: 1

トレーニング結果

フレームワークバージョン

• Transformers 4.37.0.dev0
• Pytorch 2.0.1+cu118
• Datasets 2.16.1
• Tokenizers 0.15.0

📄 ライセンス

ライセンス: other