Magicoder DS 6.7B

🚀 🎩 Magicoder: 源代码即所需一切

Magicoder是一个模型家族，借助新颖的OSS-Instruct方法，利用开源代码片段启发大语言模型，生成低偏差、高质量的代码指令数据。该方法通过大量开源参考减少了大语言模型合成指令数据的固有偏差，能生成更多样、真实且可控的数据。

🚀 快速开始

使用以下代码开始使用该模型。请确保你已经安装了 transformers 库。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

✨ 主要特性

• 🎩 Magicoder 是一个模型家族，借助 🪄 OSS-Instruct 方法，利用开源代码片段启发大语言模型，生成低偏差、高质量的代码指令数据。
• 🪄 OSS-Instruct 通过大量开源参考减少了大语言模型合成指令数据的固有偏差，能生成更多样、真实且可控的数据。

📚 详细文档

模型详情

模型描述

模型来源

• 仓库：https://github.com/ise-uiuc/magicoder
• 论文：https://arxiv.org/abs/2312.02120
• 演示（由 Gradio 提供支持）：https://github.com/ise-uiuc/magicoder/tree/main/demo

训练数据

• Magicoder-OSS-Instruct-75K：通过 OSS-Instruct 使用 gpt-3.5-turbo-1106 生成，用于训练 Magicoder 和 Magicoder-S 系列。

使用场景

直接使用

Magicoder 专为 编码任务 设计，在编码任务中表现最佳。

不适用场景

Magicoder 在非编码任务中可能表现不佳。

偏差、风险和局限性

Magicoder 有时可能会出错，产生误导性内容，或者在处理与编码无关的任务时遇到困难。

建议

用户（直接用户和下游用户）应该了解该模型的风险、偏差和局限性。

技术细节

请参考我们的 GitHub 仓库：ise-uiuc/magicoder。

📝 引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

🙏 致谢

• WizardCoder：Evol-Instruct
• DeepSeek-Coder：Magicoder-DS 的基础模型
• CodeLlama：Magicoder-CL 的基础模型
• StarCoder：数据去重

重要提示

Magicoder 模型是在 OpenAI 模型生成的合成数据上训练的。使用这些模型和数据集时，请关注 OpenAI 的 使用条款。Magicoder 不会与 OpenAI 的商业产品竞争。