Magicoder S DS 6.7B

🚀 🎩 Magicoder: 源代碼即所需一切

Magicoder 是一個模型家族，藉助 🪄OSS-Instruct 技術，利用開源代碼片段啟發大語言模型，生成低偏差、高質量的代碼指令數據。而 OSS-Instruct 通過大量開源參考資料，減輕了大語言模型合成指令數據的固有偏差，從而生成更多樣、真實且可控的數據。

🚀 快速開始

使用以下代碼開始使用該模型。請確保你已安裝 transformers 庫。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-S-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

✨ 主要特性

• Magicoder 是一個模型家族，藉助 OSS-Instruct 技術，利用開源代碼片段啟發大語言模型，生成低偏差、高質量的代碼指令數據。
• OSS-Instruct 通過大量開源參考資料，減輕了大語言模型合成指令數據的固有偏差，從而生成更多樣、真實且可控的數據。

📚 詳細文檔

模型詳情

模型描述

• 開發者： Yuxiang Wei、 Zhe Wang、 Jiawei Liu、 Yifeng Ding、 Lingming Zhang
• 許可證：DeepSeek
• 微調基礎模型：deepseek-coder-6.7b-base

模型來源

• 倉庫：https://github.com/ise-uiuc/magicoder
• 論文：https://arxiv.org/abs/2312.02120
• 演示（由 Gradio 提供支持）：https://github.com/ise-uiuc/magicoder/tree/main/demo

訓練數據

• Magicoder-OSS-Instruct-75K：通過 OSS-Instruct 使用 gpt-3.5-turbo-1106 生成，用於訓練 Magicoder 和 Magicoder-S 系列。
• Magicoder-Evol-Instruct-110K：從 theblackcat102/evol-codealpaca-v1 去汙染並重新分發而來，用於進一步微調 Magicoder 系列並獲得 Magicoder-S 模型。

使用場景

直接使用

Magicoder 專為 編碼任務 設計，在該場景下表現最佳。

非適用場景

Magicoder 在非編碼任務中可能表現不佳。

偏差、風險和侷限性

Magicoder 有時可能會出錯，產生誤導性內容，或者在處理非編碼相關任務時遇到困難。

建議

用戶（包括直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。

技術細節

請參考我們的 GitHub 倉庫：ise-uiuc/magicoder。

引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

致謝

• WizardCoder：Evol-Instruct
• DeepSeek-Coder：Magicoder-DS 的基礎模型
• CodeLlama：Magicoder-CL 的基礎模型
• StarCoder：數據去汙染

📄 許可證

Magicoder 模型採用 DeepSeek 許可證。

⚠️ 重要提示

Magicoder 模型是在由 OpenAI 模型生成的合成數據上訓練的。使用這些模型和數據集時，請關注 OpenAI 的 使用條款。Magicoder 不會與 OpenAI 的商業產品競爭。