Sbert Synonymy

🚀 短語同義檢測器

這是一個 sentence-transformers 模型，旨在確定兩個短文本（主要是長度為 10 - 15 個單詞的單句）的同義性。部分訓練數據集可在 inkoziev/paraphrases 倉庫中獲取。

該模型會為文本和問題計算維度為 312 的向量。這些向量之間的餘弦角可以評估它們在語義上的接近程度。在 對話系統項目 中，它被用於確定語句和事實的改寫。

此模型基於 cointegrated/rubert-tiny2 構建，體積非常小，即使在 CPU 上也能快速執行推理。

🚀 快速開始

✨ 主要特性

• 專為確定短文本（主要是單句）的同義性而設計。
• 計算 312 維向量，通過餘弦角評估語義接近程度。
• 基於 cointegrated/rubert-tiny2，體積小，推理速度快。

📦 安裝指南

為了方便使用，請安裝 sentence-transformers：

pip install -U sentence-transformers

💻 使用示例

基礎用法

要確定句子對的同義性，可以使用以下代碼：

import sentence_transformers

sentences = ["Одна голова - хорошо, а две - лучше",
"пара голов имеет преимущество перед единственной",
"Потерявши голову, по волосам не плачут",]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
embeddings = model.encode(sentences)

s1 = sentences[0]
v1 = embeddings[0]
for i2 in range(1, 3):
    s = sentence_transformers.util.cos_sim(a=v1, b=embeddings[i2]).item()
    print('text1={} text2={} cossim={}'.format(s1, sentences[i2], s))

運行上述代碼的結果大致如下：

text1=Одна голова - хорошо, а две - лучше  text2=пара голов имеет преимущество перед единственной  cossim=0.8603419065475464
text1=Одна голова - хорошо, а две - лучше  text2=Потерявши голову, по волосам не плачут  cossim=0.013120125979185104

📚 詳細文檔

相關項目

生成式詩歌改寫器可在 huggingface 中心獲取：inkoziev/paraphraser。該模型的訓練代碼可在 GitHub 倉庫 中找到。

聯繫方式和引用

如果需要引用此模型，請使用以下 BibTeX 格式：

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {Paraphrase Detection Model},
    url     = {https://huggingface.co/inkoziev/sbert_synonymy},
    year    = 2022
}

📄 許可證

本項目採用 Unlicense 許可證。