Codebooga 34B V0.1

🚀 CodeBooga-34B-v0.1

このモデルは、以下の2つのモデルをマージしたものです。

1. Phind-CodeLlama-34B-v2
2. WizardCoder-Python-34B-V1.0

このマージには、MythoMax-L2-13b の作成に使用されたのと同じ BlockMerge Gradient script と設定が用いられました。以下のYAMLが使用されました。

model_path1: "Phind_Phind-CodeLlama-34B-v2_safetensors"
model_path2: "WizardLM_WizardCoder-Python-34B-V1.0_safetensors"
output_model_path: "CodeBooga-34B-v0.1"
operations:
  - operation: lm_head # Single tensor
    filter: "lm_head"
    gradient_values: [0.75]
  - operation: embed_tokens # Single tensor
    filter: "embed_tokens"
    gradient_values: [0.75]
  - operation: self_attn
    filter: "self_attn"
    gradient_values: [0.75, 0.25]
  - operation: mlp
    filter: "mlp"
    gradient_values: [0.25, 0.75]
  - operation: layernorm
    filter: "layernorm"
    gradient_values: [0.5, 0.5]
  - operation: modelnorm # Single tensor
    filter: "model.norm"
    gradient_values: [0.75]

🚀 クイックスタート

プロンプト形式

両方のベースモデルはAlpaca形式を使用しているため、このモデルにも同じ形式を使用する必要があります。

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
Your instruction

### Response:
Bot reply

### Instruction:
Another instruction

### Response:
Bot reply

🔧 技術詳細

評価

（この評価は非常に科学的ではないため、ご容赦ください。）

私は、3つのPythonと3つのJavascriptの質問（実際の難しいニュアンスのある質問）を以下のモデルに投げかける簡単な実験を行いました。

1. このモデル
2. 上記のYAMLで model_path1 と model_path2 を入れ替えて生成した別のバリアントで、CodeBooga-Reversed-34B-v0.1 と名付けたもの
3. WizardCoder-Python-34B-V1.0
4. Phind-CodeLlama-34B-v2

具体的には、各モデルの4.250b EXL2量子化バージョンを使用しました。そして、各質問に対する回答を品質でソートし、以下のスコアを割り当てました。

• 4位: 0
• 3位: 1
• 2位: 2
• 1位: 4

その結果の累積スコアは以下の通りです。

• CodeBooga-34B-v0.1: 22
• WizardCoder-Python-34B-V1.0: 12
• Phind-CodeLlama-34B-v2: 7
• CodeBooga-Reversed-34B-v0.1: 1

CodeBooga-34B-v0.1は非常に良好な性能を示した一方、そのバリアントは性能が低かったため、前者をアップロードし、後者はアップロードしていません。

量子化バージョン

GGUF

TheBloke氏が、llama.cpp用のGGUF量子化バージョンを親切に提供してくれました。

https://huggingface.co/TheBloke/CodeBooga-34B-v0.1-GGUF

📄 ライセンス

このモデルはLlama 2ライセンスの下で提供されています。