Sbert Synonymy

🚀 フレーズ同義性検出器

このモデルは、sentence-transformers をベースに構築されており、主に10 - 15語程度の短い文章、特に単一の文同士の同義性を判定することを目的としています。学習データセットの一部は、inkoziev/paraphrases リポジトリで公開されています。

このモデルは、テキストと質問に対して312次元のベクトルを計算します。これらのベクトル間のコサイン類似度により、意味的な近さを評価します。対話システムプロジェクト では、このモデルが文や事実の言い換えを特定するために使用されています。

このモデルは cointegrated/rubert-tiny2 をベースにしており、非常に小さなサイズで、CPUでも高速に推論を実行できます。

🚀 クイックスタート

このモデルは、2つの短いテキスト、主に10 - 15語の単一の文の同義性を判断するために使用されます。学習データセットの一部は inkoziev/paraphrases で入手できます。

✨ 主な機能

• 短いテキストの同義性を判断することができます。
• 312次元のベクトルを計算し、コサイン類似度により意味的な近さを評価します。
• cointegrated/rubert-tiny2 をベースにしており、小さなサイズで高速な推論が可能です。

📦 インストール

便利に使用するために、sentence-transformers をインストールしましょう。

pip install -U sentence-transformers

💻 使用例

基本的な使用法

2つの文のペアの同義性を判断するには、次のようなコードを使用できます。

import sentence_transformers

sentences = ["Одна голова - хорошо, а две - лучше",
"пара голов имеет преимущество перед единственной",
"Потерявши голову, по волосам не плачут",]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
embeddings = model.encode(sentences)

s1 = sentences[0]
v1 = embeddings[0]
for i2 in range(1, 3):
    s = sentence_transformers.util.cos_sim(a=v1, b=embeddings[i2]).item()
    print('text1={} text2={} cossim={}'.format(s1, sentences[i2], s))

結果は次のようになります。

text1=Одна голова - хорошо, а две - лучше  text2=пара голов имеет преимущество перед единственной  cossim=0.8603419065475464
text1=Одна голова - хорошо, а две - лучше  text2=Потерявши голову, по волосам не плачут  cossim=0.013120125979185104

📚 ドキュメント

関連プロジェクト

生成的な詩的な言い換えツールは、huggingfaceハブで inkoziev/paraphraser として利用できます。このモデルの学習コードは GitHubリポジトリ で公開されています。

連絡先と引用

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {Paraphrase Detection Model},
    url     = {https://huggingface.co/inkoziev/sbert_synonymy},
    year    = 2022
}

📄 ライセンス

このモデルは Unlicense ライセンスの下で公開されています。