Magicoder DS 6.7B

🚀 🎩 Magicoder: 源代碼即所需一切

Magicoder是一個模型家族，藉助新穎的OSS-Instruct方法，利用開源代碼片段啟發大語言模型，生成低偏差、高質量的代碼指令數據。該方法通過大量開源參考減少了大語言模型合成指令數據的固有偏差，能生成更多樣、真實且可控的數據。

🚀 快速開始

使用以下代碼開始使用該模型。請確保你已經安裝了 transformers 庫。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

✨ 主要特性

• 🎩 Magicoder 是一個模型家族，藉助 🪄 OSS-Instruct 方法，利用開源代碼片段啟發大語言模型，生成低偏差、高質量的代碼指令數據。
• 🪄 OSS-Instruct 通過大量開源參考減少了大語言模型合成指令數據的固有偏差，能生成更多樣、真實且可控的數據。

📚 詳細文檔

模型詳情

模型描述

模型來源

• 倉庫：https://github.com/ise-uiuc/magicoder
• 論文：https://arxiv.org/abs/2312.02120
• 演示（由 Gradio 提供支持）：https://github.com/ise-uiuc/magicoder/tree/main/demo

訓練數據

• Magicoder-OSS-Instruct-75K：通過 OSS-Instruct 使用 gpt-3.5-turbo-1106 生成，用於訓練 Magicoder 和 Magicoder-S 系列。

使用場景

直接使用

Magicoder 專為 編碼任務 設計，在編碼任務中表現最佳。

不適用場景

Magicoder 在非編碼任務中可能表現不佳。

偏差、風險和侷限性

Magicoder 有時可能會出錯，產生誤導性內容，或者在處理與編碼無關的任務時遇到困難。

建議

用戶（直接用戶和下游用戶）應該瞭解該模型的風險、偏差和侷限性。

技術細節

請參考我們的 GitHub 倉庫：ise-uiuc/magicoder。

📝 引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

🙏 致謝

• WizardCoder：Evol-Instruct
• DeepSeek-Coder：Magicoder-DS 的基礎模型
• CodeLlama：Magicoder-CL 的基礎模型
• StarCoder：數據去重

重要提示

Magicoder 模型是在 OpenAI 模型生成的合成數據上訓練的。使用這些模型和數據集時，請關注 OpenAI 的 使用條款。Magicoder 不會與 OpenAI 的商業產品競爭。