Xiyansql QwenCoder 7B 2504

🚀 析言SQL-QwenCoder-2504

このモデルは、最新のSQL生成モデルであり、前バージョンをベースに最適化され、性能が向上しています。微調整とGRPOトレーニングを組み合わせたアプローチを採用し、複数の方言に対応し、即座に使用できます。

モデル情報

重要リンク

📖Github | 🤖ModelScope | 🌐XiYan-SQL | 🌕析言GBI | 💻Modelscope Space

🚀 クイックスタート

要件

• transformers >= 4.37.0
• vllm >= 0.7.2

プロンプトテンプレート

nl2sqlite_template_cn = """你是一名{dialect}专家，现在需要阅读并理解下面的【数据库schema】描述，以及可能用到的【参考信息】，并运用{dialect}知识生成sql语句回答【用户问题】。
【用户问题】
{question}

【数据库schema】
{db_schema}

【参考信息】
{evidence}

【用户问题】
{question}

```sql"""

Transformersを使用した推論

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]

text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=1024,
    temperature=0.1,
    top_p=0.8,
    do_sample=True,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

vLLMを使用した推論

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_path = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
llm = LLM(model=model_path, tensor_parallel_size=8)
tokenizer = AutoTokenizer.from_pretrained(model_path)
sampling_params = SamplingParams(
    n=1,
    temperature=0.1,
    max_tokens=1024
)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]
text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
outputs = llm.generate([text], sampling_params=sampling_params)
response = outputs[0].outputs[0].text

✨ 主な機能

• 微調整とGRPOトレーニングの組み合わせ：GRPOの事後トレーニング戦略を活用し、SQL生成の効率と精度を両立させます。
• 複数の方言に対応：SQLite、PostgreSQL、MySQLなどの主流の方言をサポートしています。
• 汎化能力の向上：異なる方言やドメイン外のデータセットでも優れた性能を発揮します。

📦 モデルダウンロード

📚 ドキュメント

性能評価

このモデルは、多方言SQLベースモデルとして、強力なSQL生成能力を示しています。以下はリリース時の評価結果です。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

謝辞

もし私たちの成果が役に立った場合は、引用やいいねをしていただけると幸いです。これにより、オープンソースコミュニティにさらに貢献できるようになります！