Xiyansql QwenCoder 7B 2504

🚀 析言SQL-QwenCoder-2504

析言SQL-QwenCoder-2504是最新的SQL生成模型，它在之前版本的基礎上持續優化，性能得到顯著提升。該模型結合了微調與GRPO訓練，支持多語言和多種SQL方言，開箱即用，泛化能力強。

重要鏈接

📖Github | 🤖ModelScope | 🌐析言SQL | 🌕析言GBI | 💻Modelscope Space

✨ 主要特性

• 訓練策略先進：結合了微調與GRPO訓練，在不依賴思考過程的情況下運用GRPO的後訓練策略，實現了SQL生成的高效與準確。
• 支持多語言：支持英文和中文。
• 多方言支持：支持SQLite、PostgreSQL和MySQL等主流方言，開箱即用。
• 泛化能力強：在不同方言和域外數據集上表現出色。

📦 安裝指南

依賴要求

• transformers >= 4.37.0
• vllm >= 0.7.2

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(model_name)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]

text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=1024,
    temperature=0.1,
    top_p=0.8,
    do_sample=True,
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高級用法

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_path = "XGenerationLab/XiYanSQL-QwenCoder-32B-2504"
llm = LLM(model=model_path, tensor_parallel_size=8)
tokenizer = AutoTokenizer.from_pretrained(model_path)
sampling_params = SamplingParams(
    n=1,
    temperature=0.1,
    max_tokens=1024
)

## dialects -> ['SQLite', 'PostgreSQL', 'MySQL']
prompt = nl2sqlite_template_cn.format(dialect="", db_schema="", question="", evidence="")
message = [{'role': 'user', 'content': prompt}]
text = tokenizer.apply_chat_template(
    message,
    tokenize=False,
    add_generation_prompt=True
)
outputs = llm.generate([text], sampling_params=sampling_params)
response = outputs[0].outputs[0].text

📚 詳細文檔

模型下載

性能評估

析言SQL-QwenCoder系列模型作為多方言SQL基礎模型，展現出強大的SQL生成能力。以下是模型發佈時的評估結果。我們使用BIRD和Spider作為Text-to-SQL領域的SQLite基準，以及PostgreSQL和MySQL方言的DW基準，在M-Schema和原始DDL兩種模式格式下對模型性能進行了全面評估。

提示模板

nl2sqlite_template_cn = """你是一名{dialect}專家，現在需要閱讀並理解下面的【數據庫schema】描述，以及可能用到的【參考信息】，並運用{dialect}知識生成sql語句回答【用戶問題】。
【用戶問題】
{question}

【數據庫schema】
{db_schema}

【參考信息】
{evidence}

【用戶問題】
{question}

```sql"""

📄 許可證

本項目採用Apache-2.0許可證。

致謝

如果您覺得我們的工作有用，請引用或點贊，讓我們為開源社區做出更大的貢獻！