Sbert Synonymy

🚀 短语同义检测器

这是一个 sentence-transformers 模型，旨在确定两个短文本（主要是长度为 10 - 15 个单词的单句）的同义性。部分训练数据集可在 inkoziev/paraphrases 仓库中获取。

该模型会为文本和问题计算维度为 312 的向量。这些向量之间的余弦角可以评估它们在语义上的接近程度。在 对话系统项目 中，它被用于确定语句和事实的改写。

此模型基于 cointegrated/rubert-tiny2 构建，体积非常小，即使在 CPU 上也能快速执行推理。

🚀 快速开始

✨ 主要特性

• 专为确定短文本（主要是单句）的同义性而设计。
• 计算 312 维向量，通过余弦角评估语义接近程度。
• 基于 cointegrated/rubert-tiny2，体积小，推理速度快。

📦 安装指南

为了方便使用，请安装 sentence-transformers：

pip install -U sentence-transformers

💻 使用示例

基础用法

要确定句子对的同义性，可以使用以下代码：

import sentence_transformers

sentences = ["Одна голова - хорошо, а две - лучше",
"пара голов имеет преимущество перед единственной",
"Потерявши голову, по волосам не плачут",]

model = sentence_transformers.SentenceTransformer('inkoziev/sbert_synonymy')
embeddings = model.encode(sentences)

s1 = sentences[0]
v1 = embeddings[0]
for i2 in range(1, 3):
    s = sentence_transformers.util.cos_sim(a=v1, b=embeddings[i2]).item()
    print('text1={} text2={} cossim={}'.format(s1, sentences[i2], s))

运行上述代码的结果大致如下：

text1=Одна голова - хорошо, а две - лучше  text2=пара голов имеет преимущество перед единственной  cossim=0.8603419065475464
text1=Одна голова - хорошо, а две - лучше  text2=Потерявши голову, по волосам не плачут  cossim=0.013120125979185104

📚 详细文档

相关项目

生成式诗歌改写器可在 huggingface 中心获取：inkoziev/paraphraser。该模型的训练代码可在 GitHub 仓库 中找到。

联系方式和引用

如果需要引用此模型，请使用以下 BibTeX 格式：

@MISC{rugpt_chitchat,
    author  = {Ilya Koziev},
    title   = {Paraphrase Detection Model},
    url     = {https://huggingface.co/inkoziev/sbert_synonymy},
    year    = 2022
}

📄 许可证

本项目采用 Unlicense 许可证。