Sft Sql Embedding

🚀 基于sentence-transformers/all-mpnet-base-v2的句子转换器

这是一个基于 sentence-transformers 库，从 sentence-transformers/all-mpnet-base-v2 微调而来的模型。它可以将句子和段落映射到一个 768 维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

本模型是基于 sentence-transformers 库，从 sentence-transformers/all-mpnet-base-v2 微调得到的。它能够把句子和段落映射到 768 维的密集向量空间，可用于语义文本相似度、语义搜索、释义挖掘、文本分类、聚类等多种任务。

✨ 主要特性

• 多任务支持：可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等。
• 高维向量映射：将句子和段落映射到 768 维的密集向量空间。

📦 安装指南

首先，你需要安装 Sentence Transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从 Hugging Face Hub 下载模型
model = SentenceTransformer("s2593817/sft-sql-embedding")
# 运行推理
sentences = [
    'SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str INTERSECT SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str',
    'SELECT count(col1) FROM table1 WHERE col2 = num',
    'SELECT count(DISTINCT col1) FROM table1',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 技术细节

训练详情

训练数据集

未命名数据集

• 规模：300,000 个训练样本
• 列名：sentence1、sentence2 和 score
• 基于前 1000 个样本的近似统计信息：

  	sentence1	sentence2	score
  类型	字符串	字符串	浮点数
  详情	最小值: 8 个词元 平均值: 38.49 个词元 最大值: 189 个词元	最小值: 7 个词元 平均值: 37.44 个词元 最大值: 153 个词元	最小值: 0.04 平均值: 0.36 最大值: 1.0

• 样本示例：

  sentence1	sentence2	score
  SELECT DISTINCT count(DISTINCT alias4.col1) , alias3.col2 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col3 = alias2.col3 JOIN table3 AS alias3 ON alias3.col4 = alias1.col4 JOIN table4 AS alias4 ON alias3.col4 = alias4.col5 WHERE alias2.col6 = str GROUP BY alias3.col2 ORDER BY count(DISTINCT alias4.col1) DESC	SELECT count(*) FROM table1 WHERE col1 = str	0.14221014492753623
  SELECT DISTINCT count(alias2.col1) FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 WHERE alias1.col3 = str	SELECT alias3.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias1.col4 = str AND alias1.col5 = str	0.5468686868686868
  SELECT count(*) FROM table1	SELECT count(*) FROM table1 WHERE col1 LIKE str	0.6269230769230769

• 损失函数：CoSENTLoss，参数如下：

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size: 160
• learning_rate: 2e-05
• num_train_epochs: 8
• warmup_ratio: 0.2
• fp16: True
• dataloader_num_workers: 16
• batch_sampler: no_duplicates

所有超参数

训练日志