Magicoder S DS 6.7B

🚀 🎩 Magicoder: Source Code Is All You Need

• 🎩Magicoderは、オープンソースのコードスニペットを用いてLLMに啓発を与え、コード用の低バイアスで高品質な命令データを生成するという斬新なアプローチである🪄OSS-Instructによって強化されたモデルファミリーです。
• 🪄OSS-Instructは、豊富なオープンソースの参照情報を利用することで、LLMが合成した命令データの固有のバイアスを軽減し、より多様で現実的かつ制御可能なデータを生成します。

📢 最新情報

Magicoderファミリーの最新の紹介については、私たちのGitHubリポジトリ ise-uiuc/magicoder を参照してください！

📚 詳細ドキュメント

モデルの説明

• 開発者: Yuxiang Wei, Zhe Wang, Jiawei Liu, Yifeng Ding, Lingming Zhang
• ライセンス: DeepSeek
• ファインチューニング元のモデル: deepseek-coder-6.7b-base

モデルのソース

• リポジトリ: https://github.com/ise-uiuc/magicoder
• 論文: https://arxiv.org/abs/2312.02120
• デモ ( Gradio 提供): https://github.com/ise-uiuc/magicoder/tree/main/demo

学習データ

• Magicoder-OSS-Instruct-75K: OSS-Instructを通じてgpt-3.5-turbo-1106を使用して生成され、MagicoderとMagicoder-Sシリーズの両方の学習に使用されます。
• Magicoder-Evol-Instruct-110K: theblackcat102/evol-codealpaca-v1 から汚染除去され再配布され、MagicoderシリーズをさらにファインチューニングしてMagicoder-Sモデルを得るために使用されます。

💻 使用例

直接的な使用

Magicodersは、コーディングタスクに最適に設計されています。

想定外の使用

Magicodersは、コーディング以外のタスクではうまく機能しない場合があります。

⚠️ バイアス、リスク、制限事項

Magicodersは時々エラーを起こし、誤解を招く内容を生成することがあり、またコーディングに関係のないタスクを処理するのが苦手なことがあります。

推奨事項

ユーザー（直接的なユーザーと下流のユーザーの両方）は、このモデルのリスク、バイアス、制限事項を認識する必要があります。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めましょう。transformers ライブラリがインストールされていることを確認してください。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-S-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

🔧 技術詳細

詳細は、私たちのGitHubリポジトリ ise-uiuc/magicoder を参照してください。

📖 引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

🙏 謝辞

• WizardCoder: Evol-Instruct
• DeepSeek-Coder: Magicoder-DSのベースモデル
• CodeLlama: Magicoder-CLのベースモデル
• StarCoder: データの汚染除去

⚠️ 重要提示

Magicoderモデルは、OpenAIモデルによって生成された合成データで学習されています。モデルとデータセットを使用する際には、OpenAIの利用規約に注意してください。MagicodersはOpenAIの商用製品と競合することはありません。

📄 ライセンス

このモデルは DeepSeek ライセンスの下で提供されています。