Wavecoder Ultra 6.7b

🚀 🌊 WaveCoder：广泛且通用的增强型代码大语言模型

WaveCoder是一系列用于编码领域的大语言模型（LLM），旨在通过遵循指令学习来解决代码领域的相关问题。其训练数据集由基于我们提出的大语言模型的生成器 - 判别器框架，从代码搜索网络（Code Search Net）数据的一个子集生成，涵盖了四个与代码相关的通用任务：代码生成、代码摘要、代码翻译和代码修复。

🚀 快速开始

模型加载示例

# 直接加载模型
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("microsoft/wavecoder-ultra-6.7b")
model = AutoModelForCausalLM.from_pretrained("microsoft/wavecoder-ultra-6.7b")

更多代码

推理、评估和训练代码请参考WaveCoder的GitHub仓库。

✨ 主要特性

• 广泛的任务覆盖：涵盖代码生成、代码摘要、代码翻译和代码修复等四个通用代码相关任务。
• 优质的训练数据：训练数据集由基于大语言模型的生成器 - 判别器框架，从代码搜索网络数据的子集生成。

📚 详细文档

论文

• 📜 WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

模型对比

相关链接

• 🐱 GitHub仓库
• 🐦 Twitter
• 💬 Reddit
• 🍀 非官方博客

📄 许可证

本代码仓库遵循MIT许可证。DeepSeek Coder模型的使用需遵循其许可证。

☕️ 引用

如果您觉得本仓库有帮助，请考虑引用我们的论文：

@article{yu2023wavecoder,
  title={Wavecoder: Widespread and versatile enhanced instruction tuning with refined data generation},
  author={Yu, Zhaojian and Zhang, Xin and Shang, Ning and Huang, Yangyu and Xu, Can and Zhao, Yishujie and Hu, Wenxiang and Yin, Qiufeng},
  journal={arXiv preprint arXiv:2312.14187},
  year={2023}
}

⚠️ 重要提示

WaveCoder模型是在由OpenAI模型生成的合成数据上训练的。使用这些模型和数据集时，请关注OpenAI的使用条款。

🔥 最新消息

• [2024/04/10] 🔥🔥🔥 WaveCoder仓库和模型已在🤗 HuggingFace发布！
• [2023/12/26] WaveCoder论文发布。