Seed Coder 8B Reasoning Bf16

🚀 Seed-Coder-8B-Reasoning-bf16

Seed-Coderは、8B規模の強力で透明性が高く、パラメータ効率の良いオープンソースコードモデルのファミリーです。このモデルは、コードデータのフィルタリングにLLMを主に利用することで、事前学習データの構築における手作業を最小限に抑え、多様なコーディングタスクで同等規模のオープンソースモデルの中で最先端の性能を達成します。

🚀 クイックスタート

ここでは、Hugging Faceのpipeline APIを使用してモデルをロードし、コード生成を行う簡単な例を示します。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)

messages = [
    {"role": "user", "content": "Write a quick sort algorithm."},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    return_tensors="pt",
    add_generation_prompt=True,  
).to(model.device)

outputs = model.generate(input_ids, max_new_tokens=16384)
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

✨ 主な機能

• モデル中心のアプローチ：コードデータのフィルタリングにLLMを主に利用し、事前学習データ構築の手作業を最小限に抑えます。
• 透明性：モデル中心のデータパイプラインに関する詳細な情報を公開しています。
• 強力な性能：同等規模のオープンソースモデルの中で、多様なコーディングタスクで最先端の性能を達成します。

これはSeed-Coder-8B-Reasoningモデルのbf16バージョンで、以下の特徴があります。

• タイプ: 因果言語モデル
• 学習段階: 事前学習と事後学習
• データソース: 公開データセット
• コンテキスト長: 65,536

📦 インストール

最新バージョンのtransformersとaccelerateをインストールする必要があります。

pip install -U transformers accelerate

📚 ドキュメント

モデルのダウンロード

評価

Seed-Coder-8B-Reasoningは、競技プログラミングで印象的な性能を発揮し、小規模のLLMでも複雑な推論タスクに対応できることを示しています。当社のモデルは、IOI'2024でQwQ-32BやDeepSeek-R1を上回り、Codeforcesコンテストでo1-miniに匹敵するELOレーティングを達成しています。

詳細なベンチマーク性能については、📑 技術レポートを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。