Magicoder DS 6.7B

🚀 🎩Magicoder: ソースコードこそが必要なもの

• 🎩Magicoder は、🪄OSS-Instruct という新しいアプローチによって強化されたモデルファミリーです。これは、オープンソースのコードスニペットを使って大規模言語モデル（LLM）に啓発を与え、コード用の 低バイアス かつ 高品質 な命令データを生成します。
• 🪄OSS-Instruct は、豊富なオープンソースの参照情報 を使って、LLMによって合成された命令データの 固有のバイアス を軽減し、より多様で現実的かつ制御可能なデータを生成します。

最新のMagicoderファミリーの紹介については、私たちのGitHubリポジトリ ise-uiuc/magicoder を参照してください！

🚀 クイックスタート

モデルを使い始めるには、以下のコードを使用します。transformers ライブラリがインストールされていることを確認してください。

from transformers import pipeline
import torch

MAGICODER_PROMPT = """You are an exceptionally intelligent coding assistant that consistently delivers accurate and reliable responses to user instructions.

@@ Instruction
{instruction}

@@ Response
"""

instruction = <Your code instruction here>

prompt = MAGICODER_PROMPT.format(instruction=instruction)
generator = pipeline(
    model="ise-uiuc/Magicoder-DS-6.7B",
    task="text-generation",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
result = generator(prompt, max_length=1024, num_return_sequences=1, temperature=0.0)
print(result[0]["generated_text"])

✨ 主な機能

• Magicoderは、コーディングタスク に最適化されています。
• OSS-Instructにより、低バイアスで高品質な命令データを生成できます。

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: Yuxiang Wei、 Zhe Wang、 Jiawei Liu、 Yifeng Ding、 Lingming Zhang
• ライセンス: DeepSeek
• ファインチューニング元のモデル: deepseek-coder-6.7b-base

モデルのソース

• リポジトリ: https://github.com/ise-uiuc/magicoder
• 論文: https://arxiv.org/abs/2312.02120
• デモ（Gradio で提供）: https://github.com/ise-uiuc/magicoder/tree/main/demo

学習データ

• Magicoder-OSS-Instruct-75K: OSS-Instruct を使用して gpt-3.5-turbo-1106 で生成され、MagicoderとMagicoder-Sシリーズの両方の学習に使用されます。

使用方法

直接使用

Magicoderは、コーディングタスク に最適化されています。

範囲外の使用

Magicoderは、コーディング以外のタスクではうまく機能しない場合があります。

バイアス、リスク、および制限

Magicoderは、時々エラーを起こし、誤解を招く内容を生成することがあります。また、コーディングに関係のないタスクを処理するのに苦労することがあります。

推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、モデルのリスク、バイアス、および制限を認識する必要があります。

🔧 技術詳細

詳細な技術情報については、私たちのGitHubリポジトリ ise-uiuc/magicoder を参照してください。

📄 ライセンス

このモデルのライセンスは DeepSeek です。

📝 引用

@misc{magicoder,
    title={Magicoder: Source Code Is All You Need}, 
    author={Yuxiang Wei and Zhe Wang and Jiawei Liu and Yifeng Ding and Lingming Zhang},
    year={2023},
    eprint={2312.02120},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

🙏 謝辞

• WizardCoder: Evol-Instruct
• DeepSeek-Coder: Magicoder-DSのベースモデル
• CodeLlama: Magicoder-CLのベースモデル
• StarCoder: データの汚染除去

⚠️ 重要注意

Magicoderモデルは、OpenAIモデルによって生成された合成データで学習されています。モデルとデータセットを使用する際には、OpenAIの利用規約に注意してください。Magicoderは、OpenAIの商用製品と競合することはありません。