Seed Coder 8B Reasoning GGUF

🚀 Seed-Coder-8B-Reasoning

Unsloth Dynamic 2.0は、卓越した精度を達成し、他の主要な量子化手法を上回ります。このモデルは、8B規模のオープンソースコードモデルで、強力で透明性が高く、パラメータ効率に優れています。

🚀 クイックスタート

ここでは、Hugging Faceのpipeline APIを使用してモデルをロードし、コード生成を行う簡単な例を示します。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ByteDance-Seed/Seed-Coder-8B-Reasoning"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)

messages = [
    {"role": "user", "content": "Write a quick sort algorithm."},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    add_generation_prompt=True,  
).to(model.device)

outputs = model.generate(input_ids, max_new_tokens=16384)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

✨ 主な機能

Seed-Coderは、以下の特徴を持つ8B規模のオープンソースコードモデルです。

• モデル中心のアプローチ：コードデータのフィルタリングにLLMを主に利用し、事前学習データの構築における手作業を最小限に抑えます。
• 透明性：モデル中心のデータパイプラインに関する詳細な情報を公開しています。GitHubデータ、コミットデータ、コード関連のウェブデータの収集方法も含まれます。
• 強力な性能：同規模のオープンソースモデルの中で、様々なコーディングタスクにおいて最先端の性能を達成しています。

このリポジトリに含まれるSeed-Coder-8B-Reasoningモデルは、以下の特徴を持っています。

📦 インストール

最新バージョンのtransformersとaccelerateをインストールする必要があります。

pip install -U transformers accelerate

📚 ドキュメント

モデルのダウンロード

評価

Seed-Coder-8B-Reasoningは、競技プログラミングにおいて印象的な性能を発揮し、小規模のLLMでも複雑な推論タスクに対応できることを示しています。このモデルは、IOI'2024でQwQ-32BやDeepSeek-R1を上回り、Codeforcesコンテストでo1-miniに匹敵するELOレーティングを達成しています。

詳細なベンチマーク性能については、📑 技術レポートを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。