Codebooga 34B V0.1

🚀 CodeBooga-34B-v0.1

CodeBooga-34B-v0.1是以下兩個模型的融合產物：

1. Phind-CodeLlama-34B-v2
2. WizardCoder-Python-34B-V1.0

它是使用BlockMerge Gradient腳本創建的，該腳本也是創建MythoMax-L2-13b所使用的腳本，並且使用了相同的設置。以下是所使用的YAML文件：

model_path1: "Phind_Phind-CodeLlama-34B-v2_safetensors"
model_path2: "WizardLM_WizardCoder-Python-34B-V1.0_safetensors"
output_model_path: "CodeBooga-34B-v0.1"
operations:
  - operation: lm_head # Single tensor
    filter: "lm_head"
    gradient_values: [0.75]
  - operation: embed_tokens # Single tensor
    filter: "embed_tokens"
    gradient_values: [0.75]
  - operation: self_attn
    filter: "self_attn"
    gradient_values: [0.75, 0.25]
  - operation: mlp
    filter: "mlp"
    gradient_values: [0.25, 0.75]
  - operation: layernorm
    filter: "layernorm"
    gradient_values: [0.5, 0.5]
  - operation: modelnorm # Single tensor
    filter: "model.norm"
    gradient_values: [0.75]

📚 詳細文檔

提示詞格式

兩個基礎模型都使用Alpaca格式，因此本模型也應使用該格式。

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
Your instruction

### Response:
Bot reply

### Instruction:
Another instruction

### Response:
Bot reply

評估

（此評估並非非常科學，請多包涵。）

我進行了一個快速實驗，向以下模型提出了一組3個Python問題和3個Javascript問題（現實世界中具有細微差別的難題）：

1. 本模型
2. 通過交換上述YAML文件中的model_path1和model_path2生成的第二個變體，我將其命名為CodeBooga-Reversed-34B-v0.1
3. WizardCoder-Python-34B-V1.0
4. Phind-CodeLlama-34B-v2

具體而言，我對每個模型使用了4.250b的EXL2量化版本。然後，我根據回答質量對每個問題的回覆進行排序，並賦予以下分數：

• 第四名：0分
• 第三名：1分
• 第二名：2分
• 第一名：4分

最終的累計得分如下：

• CodeBooga-34B-v0.1：22分
• WizardCoder-Python-34B-V1.0：12分
• Phind-CodeLlama-34B-v2：7分
• CodeBooga-Reversed-34B-v0.1：1分

CodeBooga-34B-v0.1表現非常出色，而其變體表現不佳，因此我上傳了前者而未上傳後者。

量化版本

GGUF

TheBloke友善地為llama.cpp提供了GGUF量化版本： https://huggingface.co/TheBloke/CodeBooga-34B-v0.1-GGUF

📄 許可證

本模型使用Llama 2許可證。