Xiyansql QwenCoder 3B 2504

🚀 析言SQL-QwenCoder-2504

析言SQL-QwenCoder-2504是最新的SQL生成模型，在之前版本基礎上持續優化，性能顯著提升。它結合微調與GRPO訓練，支持多方言，開箱即用，在不同方言和跨領域數據集上表現出色。

重要鏈接

📖Github | 🤖ModelScope | 🌐析言SQL | 🌕析言GBI | 💻Modelscope Space

✨ 主要特性

我們很高興發佈 析言SQL-QwenCoder-2504 版本，這是我們最新的SQL生成模型。此版本在之前版本的基礎上繼續優化，性能得到顯著提升。

• 模型結合了 微調與GRPO訓練 的重要探索，利用無思考過程的GRPO後訓練策略，在SQL生成中實現了效率與準確性的平衡。
• 展現出 出色的性能，支持 多種方言，可直接使用。
• 泛化能力得到提升，在不同方言和 跨領域數據集 上表現優異。

在評估中，我們還增加了 真實世界的SQL基準測試（DW測試集），作為重要的內部評估基線。該測試集包含數千個來自PostgreSQL和MySQL方言真實場景的複雜查詢，能有效反映模型在多種方言和跨領域數據上的性能。

📦 模型下載

📊 性能表現

析言SQL-QwenCoder系列模型作為多方言SQL基礎模型，展現出強大的SQL生成能力。以下是模型發佈時的綜合評估結果。我們使用BIRD和Spider作為Text-to-SQL領域的SQLite基準測試，以及PostgreSQL和MySQL方言的DW基準測試，在M-Schema和原始DDL兩種模式格式下對模型性能進行了全面評估。

💻 使用示例

基礎用法

以下是一個快速使用 析言SQL-QwenCoder 模型的簡單代碼片段。我們提供了中文提示模板，你只需替換 "question"、"db_schema" 和 "evidence" 的佔位符即可開始使用。建議使用 M-Schema 格式的模式；其他格式如DDL也可接受，但可能會影響性能。目前，模型主要支持SQLite、PostgreSQL和MySQL等主流方言。

環境要求

• transformers >= 4.37.0
• vllm >= 0.7.2

提示模板

nl2sqlite_template_cn = """你是一名{dialect}專家，現在需要閱讀並理解下面的【數據庫schema】描述，以及可能用到的【參考信息】，並運用{dialect}知識生成sql語句回答【用戶問題】。
【用戶問題】
{question}

【數據庫schema】
{db_schema}

【參考信息】
{evidence}

【用戶問題】
{question}

```sql"""

使用Transformers進行推理

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]

text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=1024,
    temperature=0.1,
    top_p=0.8,
    do_sample=True,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

使用vLLM進行推理

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_path = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
llm = LLM(model=model_path, tensor_parallel_size=8)
tokenizer = AutoTokenizer.from_pretrained(model_path)
sampling_params = SamplingParams(
    n=1,
    temperature=0.1,
    max_tokens=1024
)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]
text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
outputs = llm.generate([text], sampling_params=sampling_params)
response = outputs[0].outputs[0].text

📄 許可證

本項目採用Apache-2.0許可證。

🙏 致謝

如果您覺得我們的工作有幫助，請引用或點贊，讓我們為開源社區做出更大的貢獻！