Xiyansql QwenCoder 32B 2504

🚀 析言SQL-QwenCoder-2504

析言SQL-QwenCoder-2504是最新的SQL生成模型，在之前版本基础上持续优化，性能进一步提升。它结合微调与GRPO训练，在SQL生成上兼具效率与准确性，支持多方言，开箱即用，泛化能力强。

🔗 重要链接

📖Github | 🤖ModelScope | 🌐析言SQL | 🌕析言GBI | 💻Modelscope Space

🚀 快速开始

以下是快速使用 析言SQL-QwenCoder 模型的简单代码片段。我们提供了中文版本的提示词，你只需替换 "question"、"db_schema" 和 "evidence" 的占位符即可开始使用。我们推荐使用 M-Schema 格式的模式；其他格式（如 DDL）也可以接受，但可能会影响性能。目前，我们主要支持 SQLite、PostgreSQL 和 MySQL 等主流方言。

📋 环境要求

• transformers >= 4.37.0
• vllm >= 0.7.2

💬 提示词模板

nl2sqlite_template_cn = """你是一名{dialect}专家，现在需要阅读并理解下面的【数据库schema】描述，以及可能用到的【参考信息】，并运用{dialect}知识生成sql语句回答【用户问题】。
【用户问题】
{question}

【数据库schema】
{db_schema}

【参考信息】
{evidence}

【用户问题】
{question}

```sql"""

🤖 使用 Transformers 进行推理

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]

text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=1024,
    temperature=0.1,
    top_p=0.8,
    do_sample=True,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

🚀 使用 vLLM 进行推理

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_path = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
llm = LLM(model=model_path, tensor_parallel_size=8)
tokenizer = AutoTokenizer.from_pretrained(model_path)
sampling_params = SamplingParams(
    n=1,
    temperature=0.1,
    max_tokens=1024
)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]
text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
outputs = llm.generate([text], sampling_params=sampling_params)
response = outputs[0].outputs[0].text

✨ 主要特性

• 训练策略优化：模型结合了 微调与 GRPO 训练 的重要探索，利用无思考过程的 GRPO 后训练策略，在 SQL 生成中实现了效率与准确性的平衡。
• 多方言支持：展示了 出色的性能，支持 多种方言，可直接使用。
• 泛化能力强：改进了泛化能力，在不同方言和 域外数据集 上表现出色。

📦 模型下载

📊 性能表现

析言SQL-QwenCoder 模型作为多方言 SQL 基础模型，展示了强大的 SQL 生成能力。以下是发布时的评估结果。我们使用 BIRD 和 Spider 作为 Text-to-SQL 领域的 SQLite 基准测试，以及 PostgreSQL 和 MySQL 方言的 DW 基准测试，对模型在 M-Schema 和原始 DDL 两种模式格式下的性能进行了全面评估。

📄 许可证

本项目采用 Apache-2.0 许可证。

🙏 致谢

如果您觉得我们的工作有用，请引用或点赞，让我们为开源社区做出更大的贡献！