Sft Sql Embedding

🚀 基于sentence-transformers/all-mpnet-base-v2の文変換器

このモデルは、sentence-transformers ライブラリをベースに、sentence-transformers/all-mpnet-base-v2 から微調整されたものです。文や段落を768次元の密ベクトル空間にマッピングし、意味的なテキスト類似度計算、意味検索、言い換え挖掘、テキスト分類、クラスタリングなどのタスクに使用できます。

🚀 クイックスタート

このモデルは、sentence-transformers ライブラリをベースに、sentence-transformers/all-mpnet-base-v2 から微調整されたものです。文や段落を768次元の密ベクトル空間にマッピングし、意味的なテキスト類似度、意味検索、言い換え挖掘、テキスト分類、クラスタリングなどの様々なタスクに使用できます。

✨ 主な機能

• マルチタスク対応：意味的なテキスト類似度計算、意味検索、言い換え挖掘、テキスト分類、クラスタリングなどに使用できます。
• 高次元ベクトルマッピング：文や段落を768次元の密ベクトル空間にマッピングします。

📦 インストール

まず、Sentence Transformers ライブラリをインストールする必要があります。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer

# モデルを Hugging Face Hub からダウンロードする
model = SentenceTransformer("s2593817/sft-sql-embedding")
# 推論を実行する
sentences = [
    'SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str INTERSECT SELECT alias1.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias3.col4 = str',
    'SELECT count(col1) FROM table1 WHERE col2 = num',
    'SELECT count(DISTINCT col1) FROM table1',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 埋め込みベクトルの類似度スコアを取得する
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 ドキュメント

モデル詳細

モデルの説明

モデルの出所

• ドキュメント：Sentence Transformers ドキュメント
• リポジトリ：GitHub 上の Sentence Transformers
• Hugging Face：Hugging Face 上の Sentence Transformers

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

🔧 技術詳細

学習詳細

学習データセット

未命名データセット

• 規模：300,000個の学習サンプル
• 列名：sentence1、sentence2、および score
• 最初の1000個のサンプルに基づく近似統計情報：

  	sentence1	sentence2	score
  タイプ	文字列	文字列	浮動小数点数
  詳細	最小: 8トークン 平均: 38.49トークン 最大: 189トークン	最小: 7トークン 平均: 37.44トークン 最大: 153トークン	最小: 0.04 平均: 0.36 最大: 1.0

• サンプル例：

  sentence1	sentence2	score
  SELECT DISTINCT count(DISTINCT alias4.col1) , alias3.col2 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col3 = alias2.col3 JOIN table3 AS alias3 ON alias3.col4 = alias1.col4 JOIN table4 AS alias4 ON alias3.col4 = alias4.col5 WHERE alias2.col6 = str GROUP BY alias3.col2 ORDER BY count(DISTINCT alias4.col1) DESC	SELECT count(*) FROM table1 WHERE col1 = str	0.14221014492753623
  SELECT DISTINCT count(alias2.col1) FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 WHERE alias1.col3 = str	SELECT alias3.col1 FROM table1 AS alias1 JOIN table2 AS alias2 ON alias1.col2 = alias2.col2 JOIN table3 AS alias3 ON alias2.col3 = alias3.col3 WHERE alias1.col4 = str AND alias1.col5 = str	0.5468686868686868
  SELECT count(*) FROM table1	SELECT count(*) FROM table1 WHERE col1 LIKE str	0.6269230769230769

• 損失関数：CoSENTLoss、パラメータは以下の通り：

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

学習ハイパーパラメータ

非デフォルトのハイパーパラメータ

• per_device_train_batch_size: 160
• learning_rate: 2e-05
• num_train_epochs: 8
• warmup_ratio: 0.2
• fp16: True
• dataloader_num_workers: 16
• batch_sampler: no_duplicates

すべてのハイパーパラメータ

学習ログ