Wavecoder Ultra 6.7b

🚀 🌊 WaveCoder: 広範で汎用的な拡張コードLLM

WaveCoderは、コーディング分野の大規模言語モデル（LLM）シリーズです。命令に従った学習を通じて、コード分野の関連問題を解決するように設計されています。

[📜 論文] • [🐱 GitHub]
[🐦 Twitter] • [💬 Reddit] • [🍀 非公式ブログ]

リポジトリは "WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation" のものです。

🔥 ニュース

• [2024/04/10] 🔥🔥🔥 WaveCoderのリポジトリとモデルが 🤗 HuggingFace で公開されました！
• [2023/12/26] WaveCoderの論文が公開されました。

✨ 主な機能

WaveCoderは、コーディング分野の大規模言語モデル（LLM）シリーズで、命令に従った学習を通じてコード分野の関連問題を解決するように設計されています。その学習データセットは、提案したLLMベースの生成器 - 識別器フレームワークを使用して、code - search - netデータのサブセットから生成され、コード生成、コード要約、コード翻訳、コード修正という4つの一般的なコード関連タスクをカバーしています。

💻 使用例

基本的な使用法

# モデルを直接読み込む
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("microsoft/wavecoder-ultra-6.7b")
model = AutoModelForCausalLM.from_pretrained("microsoft/wavecoder-ultra-6.7b")

推論、評価、トレーニングコードについては、WaveCoderの GitHubリポジトリ を参照してください。

📄 ライセンス

このコードリポジトリはMITライセンスの下でライセンスされています。DeepSeek Coderモデルの使用については、その ライセンス に従ってください。

☕️ 引用

このリポジトリが役立った場合は、以下のように論文を引用してください。

@article{yu2023wavecoder,
  title={Wavecoder: Widespread and versatile enhanced instruction tuning with refined data generation},
  author={Yu, Zhaojian and Zhang, Xin and Shang, Ning and Huang, Yangyu and Xu, Can and Zhao, Yishujie and Hu, Wenxiang and Yin, Qiufeng},
  journal={arXiv preprint arXiv:2312.14187},
  year={2023}
}

注意

WaveCoderモデルは、OpenAIモデルによって生成された合成データで学習されています。モデルとデータセットを使用する際は、OpenAIの 利用規約 に注意してください。