Wavecoder Ultra 6.7b

🚀 🌊 WaveCoder：廣泛且通用的增強型代碼大語言模型

WaveCoder是一系列用於編碼領域的大語言模型（LLM），旨在通過遵循指令學習來解決代碼領域的相關問題。其訓練數據集由基於我們提出的大語言模型的生成器 - 判別器框架，從代碼搜索網絡（Code Search Net）數據的一個子集生成，涵蓋了四個與代碼相關的通用任務：代碼生成、代碼摘要、代碼翻譯和代碼修復。

🚀 快速開始

模型加載示例

# 直接加載模型
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("microsoft/wavecoder-ultra-6.7b")
model = AutoModelForCausalLM.from_pretrained("microsoft/wavecoder-ultra-6.7b")

更多代碼

推理、評估和訓練代碼請參考WaveCoder的GitHub倉庫。

✨ 主要特性

• 廣泛的任務覆蓋：涵蓋代碼生成、代碼摘要、代碼翻譯和代碼修復等四個通用代碼相關任務。
• 優質的訓練數據：訓練數據集由基於大語言模型的生成器 - 判別器框架，從代碼搜索網絡數據的子集生成。

📚 詳細文檔

論文

• 📜 WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

模型對比

相關鏈接

• 🐱 GitHub倉庫
• 🐦 Twitter
• 💬 Reddit
• 🍀 非官方博客

📄 許可證

本代碼倉庫遵循MIT許可證。DeepSeek Coder模型的使用需遵循其許可證。

☕️ 引用

如果您覺得本倉庫有幫助，請考慮引用我們的論文：

@article{yu2023wavecoder,
  title={Wavecoder: Widespread and versatile enhanced instruction tuning with refined data generation},
  author={Yu, Zhaojian and Zhang, Xin and Shang, Ning and Huang, Yangyu and Xu, Can and Zhao, Yishujie and Hu, Wenxiang and Yin, Qiufeng},
  journal={arXiv preprint arXiv:2312.14187},
  year={2023}
}

⚠️ 重要提示

WaveCoder模型是在由OpenAI模型生成的合成數據上訓練的。使用這些模型和數據集時，請關注OpenAI的使用條款。

🔥 最新消息

• [2024/04/10] 🔥🔥🔥 WaveCoder倉庫和模型已在🤗 HuggingFace發佈！
• [2023/12/26] WaveCoder論文發佈。