Everyone Coder 33b Base

🚀 Everyone-Coder-33b-Base

このモデルは、コミュニティによって作成され、コミュニティのためのEveryoneLLMシリーズのモデルです。deepseekcoder-33b-baseをファインチューニングしたコーディング専用のモデルです。

📄 ライセンス

このモデルは、DeepSeekライセンスの下で提供されています。

✨ 主な機能

コーディング能力

ハンドテストでは、https://edabit.com/challenge のコーディングチャレンジにおいて、最新のGPT - 4を圧倒的に上回るコーディング能力を示しています。

独自のプロンプトテンプレート

このモデルはエンドトークンに関する問題があったため、独自のプロンプトテンプレートが作成されました。システムプロンプトに「Always end with "<|EOT|>"」を追加し、ユーザーメッセージの末尾に「Always end your response with "<|EOT|>"」を追加します。そして、LMのテキスト生成インターフェースで<|EOT|>をカスタムストップ文字列として追加します。

Always end with "<|EOT|>"

{System}

<|User|>

{User}. Always end your response with "<|EOT|>"

<|Assistant|>

{Assistant}

📦 モデルのマージ情報

マージに使用されたモデル

• deepseek-ai/deepseek-coder-33b-instruct
• codefuse-ai/CodeFuse-DeepSeek-33B
• WizardLM/WizardCoder-33B-V1.1

マージの設定

マージの設定は以下の通りです。

models:
  - model: WizardLM_WizardCoder-33B-V1.1
    parameters:
      density: 1
      weight: .5
  - model: codefuse-ai_CodeFuse-DeepSeek-33B
    parameters:
      density: 1
      weight: .5
merge_method: ties
base_model: deepseek-ai_deepseek-coder-33b-instruct
parameters:
  normalize: true
  int8_mask: true
dtype: float16

マージの詳細

モデルをマージするための詳細な説明はこちらから確認できます。

📊 ベンチマーク結果

評価結果の概要

Open LLM Leaderboardでの評価結果の詳細はこちらから確認できます。