Speechless Coder Ds 6.7b

🚀 speechless-coder-ds-6.7b

speechless-coder-ds-6.7b 是一个经过微调的模型，使用特定数据集对 deepseek-ai/deepseek-coder-6.7b 进行微调，以提升模型的推理和规划能力。该模型有适用于 CPU+GPU 推理的 4、5 和 8 位 GGUF 模型。

📦 安装指南

文档未提及安装步骤，暂不提供相关内容。

✨ 主要特性

• 微调数据集：使用 ise-uiuc/Magicoder-OSS-Instruct-75K 和 ise-uiuc/Magicoder-Evol-Instruct-110K 数据集进行微调，共 185,193 个样本，大小 426 MB。
• 上下文窗口长度：8192
• 最大令牌数：大于 128 且小于 8192
• 指令格式：接受 Alpaca 指令格式。

💻 使用示例

基础用法

此模型接受 Alpaca 指令格式，例如：

You are an intelligent programming assistant.

### Instruction:
Implement a linked list in C++

### Response:

📚 详细文档

模型评估

• HumanEval | 指标 | 值 | | --- | --- | | humaneval-python | |

大代码模型排行榜 中部分模型的表现：

• CodeLlama-34B-Python: 53.29

• CodeLlama-34B-Instruct: 50.79

• CodeLlama-13B-Instruct: 50.6

• CodeLlama-34B: 45.11

• CodeLlama-13B-Python: 42.89

• CodeLlama-13B: 35.07

• BigCode Eval

  • 部分指标值为 0.314188
    • metrics_humanevalfixtests-cpp: "pass@1": 0.27439024390243905
    • metrics_humanevalfixtests-go: "pass@1": 0.23170731707317074
    • metrics_humanevalfixtests-java: "pass@1": 0.25609756097560976
    • metrics_humanevalfixtests-js: "pass@1": 0.21951219512195122
    • metrics_humanevalfixtests-python: "pass@1": 0.23780487804878048
    • metrics_humanevalfixtests-rust: "pass@1": 0.13414634146341464
  • 部分指标值为 0.390111
    • metrics_humanevalsynthesize-cpp: "pass@1": 0.3780487804878049
    • metrics_humanevalsynthesize-go: "pass@1": 0.25609756097560976
    • metrics_humanevalsynthesize-java: "pass@1": 0.45121951219512196
    • metrics_humanevalsynthesize-js: "pass@1": 0.4268292682926829
    • metrics_humanevalsynthesize-python: "pass@1": 0.5365853658536586
    • metrics_humanevalsynthesize-rust: "pass@1": 0.25
    • metrics_mbpp: "pass@1": 0.432

• LMEval | 指标 | 值 | | --- | --- | | ARC | | | HellaSwag | | | MMLU | | | TruthfulQA | | | 平均值 | |

开放大语言模型排行榜

📄 许可证

该模型使用的许可证为 apache-2.0。

🔗 相关链接

• 4, 5 和 8 位 GGUF 模型（用于 CPU+GPU 推理）
• 代码仓库