Sbert Pq

🚀 SBERT_PQ

このモデルは、sentence-transformers をベースに構築されており、主に10 - 15語程度の短いテキストと質問の関連性を判断するために設計されています。

モデルは、テキストと質問に対して312次元のベクトルを計算します。これらのベクトル間のコサイン類似度により、テキストが質問に対する回答を含んでいるかどうかを評価します。対話システムプロジェクト では、このモデルが、相手の質問に対する事実ベースのセマンティック検索に使用されています。

🚀 クイックスタート

SBERT_PQモデルは、短いテキストと質問の関連性を評価するために使用されます。以下に、使用方法の概要を示します。

✨ 主な機能

• 短いテキスト（主に10 - 15語の単文）と質問の関連性を判断します。
• テキストと質問に対して312次元のベクトルを計算し、コサイン類似度により関連性を評価します。
• 対話システムプロジェクト でのセマンティック検索に利用されます。

📦 インストール

sentence-transformers ライブラリをインストールする必要があります。以下のコマンドを使用してインストールしてください。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

import sentence_transformers

sentences = ["Кошка ловит мышку.", "Чем занята кошка?"]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_pq')
embeddings = model.encode(sentences)

s = sentence_transformers.util.cos_sim(a=embeddings[0], b=embeddings[1])
print('text={} question={} cossim={}'.format(sentences[0], sentences[1], s))

📚 ドキュメント

速度と精度

このモデルは、cointegrated/rubert-tiny2 をベースに構築されています。非常に小さなサイズで、CPUでも高速に推論を実行することができます。

テストデータセット（データセットの10%）におけるcossim_f1メトリクスの最大値は 0.986 です。ベースモデルとして sberbank-ai/ruBert-base を使用した場合、cossim_f1の最大値は 0.992 です。

モデル情報

引用情報

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {Texts & Questions Relevancy Model},
    url     = {https://huggingface.co/inkoziev/sbert_pq},
    year    = 2022
}

📄 ライセンス

このモデルは、unlicenseライセンスの下で公開されています。