Seed Coder 8B Instruct GGUF

🚀 Seed-Coder-8B-Instruct

Unsloth Dynamic 2.0は、卓越した精度を達成し、他の主要な量子化手法を上回ります。

🚀 クイックスタート

ここでは、Hugging Faceのpipeline APIを使用してモデルをロードし、コードを生成する簡単な例を示します。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ByteDance-Seed/Seed-Coder-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)

messages = [
    {"role": "user", "content": "Write a quick sort algorithm."},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    add_generation_prompt=True,  
).to(model.device)

outputs = model.generate(input_ids, max_new_tokens=512)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

✨ 主な機能

• モデル中心のアプローチ：コードデータのフィルタリングにLLMを主に利用し、事前学習データの構築における手動作業を最小限に抑えます。
• 透明性：モデル中心のデータパイプラインに関する詳細な情報を公開しています。
• 高性能：様々なコーディングタスクで、同規模のオープンソースモデルの中で最先端の性能を達成しています。

📦 インストール

最新バージョンのtransformersとaccelerateをインストールする必要があります。

pip install -U transformers accelerate

📚 ドキュメント

モデルの概要

このリポジトリには、Seed-Coder-8B-Instructモデルが含まれており、以下の特徴を持っています。

モデルのダウンロード

評価

Seed-Coder-8B-Instructは、コード生成、コード推論、コード編集、ソフトウェアエンジニアリングなど、幅広いコーディングタスクで評価されており、約8Bのオープンソースモデルの中で最先端の性能を達成しています。

詳細なベンチマーク性能については、📑 技術レポートを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。