Sft Sql Embedding

🚀 基於sentence-transformers/all-mpnet-base-v2的句子轉換器

這是一個基於 sentence-transformers 庫，從 sentence-transformers/all-mpnet-base-v2 微調而來的模型。它可以將句子和段落映射到一個 768 維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

🚀 快速開始

本模型是基於 sentence-transformers 庫，從 sentence-transformers/all-mpnet-base-v2 微調得到的。它能夠把句子和段落映射到 768 維的密集向量空間，可用於語義文本相似度、語義搜索、釋義挖掘、文本分類、聚類等多種任務。

✨ 主要特性

• 多任務支持：可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等。
• 高維向量映射：將句子和段落映射到 768 維的密集向量空間。

📦 安裝指南

首先，你需要安裝 Sentence Transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從 Hugging Face Hub 下載模型
model = SentenceTransformer("s2593817/sft-sql-embedding")
# 運行推理
sentences = [
    'SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str INTERSECT SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str',
    'SELECT count(col1) FROM table1 WHERE col2 = num',
    'SELECT count(DISTINCT col1) FROM table1',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub 上的 Sentence Transformers
• Hugging Face：Hugging Face 上的 Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 技術細節

訓練詳情

訓練數據集

未命名數據集

• 規模：300,000 個訓練樣本
• 列名：sentence1、sentence2 和 score
• 基於前 1000 個樣本的近似統計信息：

  	sentence1	sentence2	score
  類型	字符串	字符串	浮點數
  詳情	最小值: 8 個詞元 平均值: 38.49 個詞元 最大值: 189 個詞元	最小值: 7 個詞元 平均值: 37.44 個詞元 最大值: 153 個詞元	最小值: 0.04 平均值: 0.36 最大值: 1.0

• 樣本示例：

  sentence1	sentence2	score
  SELECT DISTINCT count(DISTINCT alias4.col1) , alias3.col2 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col3 = alias2.col3 JOIN table3 AS alias3 ON alias3.col4 = alias1.col4 JOIN table4 AS alias4 ON alias3.col4 = alias4.col5 WHERE alias2.col6 = str GROUP BY alias3.col2 ORDER BY count(DISTINCT alias4.col1) DESC	SELECT count(*) FROM table1 WHERE col1 = str	0.14221014492753623
  SELECT DISTINCT count(alias2.col1) FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 WHERE alias1.col3 = str	SELECT alias3.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias1.col4 = str AND alias1.col5 = str	0.5468686868686868
  SELECT count(*) FROM table1	SELECT count(*) FROM table1 WHERE col1 LIKE str	0.6269230769230769

• 損失函數：CoSENTLoss，參數如下：

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

訓練超參數

非默認超參數

• per_device_train_batch_size: 160
• learning_rate: 2e-05
• num_train_epochs: 8
• warmup_ratio: 0.2
• fp16: True
• dataloader_num_workers: 16
• batch_sampler: no_duplicates

所有超參數

訓練日誌