Sentence Similarity Semantic Search

🚀 文章の類似度と意味検索のためのSentence Transformerモデル

このプロジェクトは、文章の類似度と意味検索に特化したSentence Transformerモデルを提供します。ニュースデータセットを用いて微調整され、様々なアプリケーションで利用できます。

🚀 クイックスタート

このモデルを使用するには、まずsentence-transformersライブラリをインストールする必要があります。以下のコマンドを実行してください。

pip install -U sentence-transformers

✨ 主な機能

• ニュースデータセットを用いて微調整された文章類似度と意味検索用のモデルです。
• 意味検索、文章類似度評価、レコメンデーションシステムなどのアプリケーションに利用できます。
• 推論目的でも使用できます。

📦 インストール

sentence-transformersライブラリをインストールするには、以下のコマンドを実行します。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer, InputExample, losses
import pandas as pd
from sentence_transformers import SentenceTransformer, InputExample
from torch.utils.data import DataLoader
from sentence_transformers import SentenceTransformer, util

model_name="Sakil/sentence_similarity_semantic_search"
model = SentenceTransformer(model_name)
sentences = ['A man is eating food.',
          'A man is eating a piece of bread.',
          'The girl is carrying a baby.',
          'A man is riding a horse.',
          'A woman is playing violin.',
          'Two men pushed carts through the woods.',
          'A man is riding a white horse on an enclosed ground.',
          'A monkey is playing drums.',
          'Someone in a gorilla costume is playing a set of drums.'
          ]

#Encode all sentences
embeddings = model.encode(sentences)

#Compute cosine similarity between all pairs
cos_sim = util.cos_sim(embeddings, embeddings)

#Add all pairs to a list with their cosine similarity score
all_sentence_combinations = []

for i in range(len(cos_sim)-1):

    for j in range(i+1, len(cos_sim)):
    
        all_sentence_combinations.append([cos_sim[i][j], i, j])

#Sort list by the highest cosine similarity score

all_sentence_combinations = sorted(all_sentence_combinations, key=lambda x: x[0], reverse=True)

print("Top-5 most similar pairs:")

for score, i, j in all_sentence_combinations[0:5]:

    print("{} \t {} \t {:.4f}".format(sentences[i], sentences[j], cos_sim[i][j]))

📚 ドキュメント

データセット収集

• ニュースデータセットはKaggleから収集されています。データセット
• データセットにはニュースのタイトル、内容、およびラベル（ニュースのタイトルと内容のコサイン類似度を示す）が含まれています。
• データ収集段階では、さまざまな戦略が採用されています。

データフィールド

アプリケーション

• このモデルは、意味検索、文章類似度評価、レコメンデーションシステムなどに役立ちます。
• 特定のユースケースに合わせてこのモデルを微調整することができます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

🔗 GitHub

Sakil Ansari