SGPT-1.3Bオープンソース文埋め込みモデル - 無料デプロイで意味検索タスクをサポート

ホーム

SGPT 1.3B Weightedmean Nli Bitfit

Muennighoffによって開発

SGPTはGPTアーキテクチャに基づく文埋め込みモデルで、意味検索タスクに特化しており、加重平均プーリング方式で文表現を生成します。

テキスト埋め込み

PyTorch

#GPT文埋め込み #意味検索最適化 #NLI微調整

ダウンロード数 206

リリース時間 : 3/2/2022

モデル概要

このモデルはGPTNeoアーキテクチャを採用し、加重平均プーリング方式で文埋め込みを生成し、主に文の類似度計算と意味検索タスクに使用されます。

モデル特徴

加重平均プーリング

加重平均プーリング方式で文表現を生成し、文の意味情報をより良く捉えることができます。

大規模事前学習

13億パラメータのGPTNeoモデルをベースに微調整され、強力な意味理解能力を持っています。

効率的な微調整

bitfit技術を使用してパラメータを効率的に微調整し、バイアスパラメータのみを学習します。

モデル能力

文埋め込み生成

意味類似度計算

意味検索

使用事例

情報検索

文書検索

クエリ文に基づいて意味的に関連する文書を検索します。

質問応答システム

質問マッチング

ユーザの質問と知識ベース内の類似質問をマッチングします。

🚀 SGPT-1.3B-weightedmean-nli-bitfit

このモデルは文の類似度を計算するためのもので、特徴抽出にも利用できます。

🚀 クイックスタート

使用方法については、以下のコードベースを参照してください。 https://github.com/Muennighoff/sgpt

✨ 主な機能

文の類似度計算
特徴抽出

📚 ドキュメント

評価結果

評価結果については、評価フォルダまたは以下の論文を参照してください。 https://arxiv.org/abs/2202.08904

学習

このモデルは以下のパラメータで学習されました。

DataLoader: sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader（長さ93941）で、以下のパラメータを使用しています。

{'batch_size': 6}

損失関数: sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLossで、以下のパラメータを使用しています。

{'scale': 20.0, 'similarity_fct': 'cos_sim'}

fit()メソッドのパラメータ:

{
    "epochs": 1,
    "evaluation_steps": 9394,
    "evaluator": "sentence_transformers.evaluation.EmbeddingSimilarityEvaluator.EmbeddingSimilarityEvaluator",
    "max_grad_norm": 1,
    "optimizer_class": "<class 'transformers.optimization.AdamW'>",
    "optimizer_params": {
        "lr": 0.0001
    },
    "scheduler": "WarmupLinear",
    "steps_per_epoch": null,
    "warmup_steps": 9395,
    "weight_decay": 0.01
}

完全なモデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 75, 'do_lower_case': False}) with Transformer model: GPTNeoModel 
  (1): Pooling({'word_embedding_dimension': 2048, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': True, 'pooling_mode_lasttoken': False})
)

引用と著者

@article{muennighoff2022sgpt,
  title={SGPT: GPT Sentence Embeddings for Semantic Search},
  author={Muennighoff, Niklas},
  journal={arXiv preprint arXiv:2202.08904},
  year={2022}
}