Yi Coder 9B Chat

🚀 Yi-Coder

Yi-Coderは、100億未満のパラメータで最先端のコーディング性能を発揮するオープンソースのコード言語モデルシリーズです。

🐙 GitHub • 👾 Discord • 🐤 Twitter • 💬 WeChat
📝 Paper • 💪 Tech Blog • 🙌 FAQ • 📗 Learning Hub

✨ 主な機能

• 最大コンテキスト長が128Kトークンで、長文コンテキスト理解に優れています。
• 52の主要なプログラミング言語をサポートしています。

  'java', 'markdown', 'python', 'php', 'javascript', 'c++', 'c#', 'c', 'typescript', 'html', 'go', 'java_server_pages', 'dart', 'objective-c', 'kotlin', 'tex', 'swift', 'ruby', 'sql', 'rust', 'css', 'yaml', 'matlab', 'lua', 'json', 'shell', 'visual_basic', 'scala', 'rmarkdown', 'pascal', 'fortran', 'haskell', 'assembly', 'perl', 'julia', 'cmake', 'groovy', 'ocaml', 'powershell', 'elixir', 'clojure', 'makefile', 'coffeescript', 'erlang', 'lisp', 'toml', 'batchfile', 'cobol', 'dockerfile', 'r', 'prolog', 'verilog'

モデルの詳細とベンチマークについては、Yi-Coder blog と Yi-Coder README を参照してください。

📦 モデル情報

🔧 ベンチマーク

下の図に示すように、Yi-Coder-9B-ChatはLiveCodeBenchで23%の合格率を達成し、100億未満のパラメータのモデルで20%を超えた唯一のモデルとなりました。また、DeepSeekCoder-33B-Insの22.3%、CodeGeex4-9B-allの17.8%、CodeLLama-34B-Insの13.3%、CodeQwen1.5-7B-Chatの12%を上回っています。

🚀 クイックスタート

transformers を使用して、Yi-Coderモデル（チャット版とベース版の両方）で推論を実行することができます。

from transformers import AutoTokenizer, AutoModelForCausalLM

device = "cuda" # the device to load the model onto
model_path = "01-ai/Yi-Coder-9B-Chat"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").eval()

prompt = "Write a quick sort algorithm."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=1024,
    eos_token_id=tokenizer.eos_token_id  
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

Yi-Coderシリーズのモデルをすぐに使い始めるには、Yi-Coder README を参照してください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。