Magicoder S DS 6.7B

🚀 🎩 Magicoder: 源代码即所需一切

Magicoder 是一个模型家族，借助 🪄OSS-Instruct 技术，利用开源代码片段启发大语言模型，生成低偏差、高质量的代码指令数据。而 OSS-Instruct 通过大量开源参考资料，减轻了大语言模型合成指令数据的固有偏差，从而生成更多样、真实且可控的数据。

🚀 快速开始

使用以下代码开始使用该模型。请确保你已安装 transformers 库。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-S-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

✨ 主要特性

• Magicoder 是一个模型家族，借助 OSS-Instruct 技术，利用开源代码片段启发大语言模型，生成低偏差、高质量的代码指令数据。
• OSS-Instruct 通过大量开源参考资料，减轻了大语言模型合成指令数据的固有偏差，从而生成更多样、真实且可控的数据。

📚 详细文档

模型详情

模型描述

• 开发者： Yuxiang Wei、 Zhe Wang、 Jiawei Liu、 Yifeng Ding、 Lingming Zhang
• 许可证：DeepSeek
• 微调基础模型：deepseek-coder-6.7b-base

模型来源

• 仓库：https://github.com/ise-uiuc/magicoder
• 论文：https://arxiv.org/abs/2312.02120
• 演示（由 Gradio 提供支持）：https://github.com/ise-uiuc/magicoder/tree/main/demo

训练数据

• Magicoder-OSS-Instruct-75K：通过 OSS-Instruct 使用 gpt-3.5-turbo-1106 生成，用于训练 Magicoder 和 Magicoder-S 系列。
• Magicoder-Evol-Instruct-110K：从 theblackcat102/evol-codealpaca-v1 去污染并重新分发而来，用于进一步微调 Magicoder 系列并获得 Magicoder-S 模型。

使用场景

直接使用

Magicoder 专为 编码任务 设计，在该场景下表现最佳。

非适用场景

Magicoder 在非编码任务中可能表现不佳。

偏差、风险和局限性

Magicoder 有时可能会出错，产生误导性内容，或者在处理非编码相关任务时遇到困难。

建议

用户（包括直接用户和下游用户）应了解该模型的风险、偏差和局限性。

技术细节

请参考我们的 GitHub 仓库：ise-uiuc/magicoder。

引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

致谢

• WizardCoder：Evol-Instruct
• DeepSeek-Coder：Magicoder-DS 的基础模型
• CodeLlama：Magicoder-CL 的基础模型
• StarCoder：数据去污染

📄 许可证

Magicoder 模型采用 DeepSeek 许可证。

⚠️ 重要提示

Magicoder 模型是在由 OpenAI 模型生成的合成数据上训练的。使用这些模型和数据集时，请关注 OpenAI 的 使用条款。Magicoder 不会与 OpenAI 的商业产品竞争。