Codefuse 13B

🚀 CodeFuse-13B

CodeFuse-13Bは、GPT-NeoXフレームワークで訓練されたコード生成モデルです。4096文字までのコードシーケンスを扱うことができ、40種類以上のプログラミング言語に対応しています。また、微調整により生成コードの精度と品質が向上しています。

[日本語] [英語]

🚀 クイックスタート

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(("CodeFuse-13B"))
model = AutoModelForCausalLM.from_pretrained(("CodeFuse-13B"), device_map="auto").half().eval()

input_ids = tokenizer.encode("# language: Python\ndef quick_sort(array):\n", return_tensors="pt").to("cuda")
output_ids = model.generate(input_ids, max_new_tokens=200)

print(tokenizer.decode(output_ids[0]))

✨ 主な機能

CodeFuse-13Bは、130億パラメータのコード生成モデルで、GPT-NeoXフレームワークを使用して訓練されています。最大4096文字のコードシーケンスを処理でき、1000Bトークンのコード、中国語、英語のデータセットで事前学習され、40種類以上のプログラミング言語をカバーしています。CodeFuse-Evol-instruction-66kデータセットで微調整され、生成されるコードの精度と品質が向上しています。HumanEval評価セットでは、Pass@1が37.1%（BeamSearch戦略、BeamSize=3）を達成しています。

📦 インストール

• Python 3.8以上
• PyTorch 1.12以上（推奨は2.0以上）
• Transformers 4.24.0以上
• CUDA 11.4以上の使用をおすすめします（GPUユーザーやflash-attentionユーザーはこのオプションを検討してください）

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(("CodeFuse-13B"))
model = AutoModelForCausalLM.from_pretrained(("CodeFuse-13B"), device_map="auto").half().eval()

input_ids = tokenizer.encode("# language: Python\ndef quick_sort(array):\n", return_tensors="pt").to("cuda")
output_ids = model.generate(input_ids, max_new_tokens=200)

print(tokenizer.decode(output_ids[0]))

📚 ドキュメント

コードコミュニティ

ホームページ: 🏡 https://github.com/codefuse-ai (Star🌟 + Fork🚀 + Watch👀でサポートをお願いします)

• モデルを自分で微調整したい場合は、✨MFTCoder✨✨を訪問してください。
• モデルを自分でデプロイしたい場合は、✨FasterTransformer4CodeFuse✨✨を訪問してください。
• モデルのデモを見たい場合は、✨CodeFuse Demo✨✨を訪問してください。

MD5

モデルファイルは転送中に破損する可能性があります。使用前にMD5値を確認してください。

📄 ライセンス

Other