Persian Sentence Embedding V3

🚀 基于FacebookAI/xlm - roberta - large的句子转换器

本项目基于sentence-transformers库，微调自[FacebookAI/xlm - roberta - large](https://huggingface.co/FacebookAI/xlm - roberta - large)模型。它能将句子和段落映射到1024维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

🚀 快速开始

直接使用（Sentence Transformers）

首先，安装Sentence Transformers库：

pip install -U sentence-transformers

然后，加载模型并进行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("sentence_transformers_model_id")
# 进行推理
sentences = [
    'چه اتفاقی در مسجد الحرام برای عبدالمطلب و پسرش رخ داد؟',
    'در مسجد الحرام، عبدالمطلب و پسرش توسط ده مرد پابرهنه و شمشیر به دست، مورد حمله قرار گرفتند و از کشتن فرزند عبدالمطلب جلوگیری کردند. این حادثه باعث شد که مردم در مسجد الحرام غرق در هیاهو شوند و صداها درهم آمیخته و صدای زنان محو شود.',
    'قائم آل محمد (ص) به اراده الهی قیام کرده و زمانی که او قیام کند، دیگر از شرک و شرک\u200cگرایی اثری نخواهد ماند و دین حق همه دلها را نورباران می\u200cسازد. این مطلب از آیاتی که پیرامون وجود گرانمایه او تأویل شده است بسنده می\u200cشود و این امر در قرآن و روایات به طور جامع بیان شده است.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

✨ 主要特性

• 支持多种语言，包括波斯语（fa）、英语（en）、阿拉伯语（ar）等。
• 基于FacebookAI/xlm - roberta - large模型微调，具有良好的语义表示能力。
• 可用于多种自然语言处理任务，如语义文本相似度计算、语义搜索等。

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers Documentation
• 代码仓库：[Sentence Transformers on GitHub](https://github.com/UKPLab/sentence - transformers)
• Hugging Face：[Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence - transformers)

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

训练详情

parsinlu_qqp_pair2class

• 数据集：parsinlu_qqp_pair2class
• 大小：4,644个训练样本
• 列：sentence1、sentence2和label
• 基于前1000个样本的近似统计： | | sentence1 | sentence2 | label | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 整数 | | 详情 |
  • 最小：5个词元
  • 平均：15.58个词元
  • 最大：50个词元
  |
  • 最小：5个词元
  • 平均：15.91个词元
  • 最大：100个词元
  |
  • 0：约61.70%
  • 1：约38.30%
  |
• 样本： | sentence1 | sentence2 | label | | ---- | ---- | ---- | | چگونه می توانم کم کم وزن خود را کاهش دهم؟ | چگونه وزن کم کنم؟ | 1 | | چگونه استمناء بر قدرت تمرکز شخص تأثیر می گذارد؟ | آیا چرک روی لوزه ها می تواند نشانه ای از STD باشد؟ | 0 | | وقتی خواب کسی را دیدم و گفتم آنها در حال مرگ هستند ، چه معنایی دارد؟ | وقتی خواب می بینم که کسی در حال مرگ باشد معنی اش چیست؟ | 0 |
• 损失函数：ContrastiveLoss，参数如下：

{
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

parsinlu_entail_pair3class

• 数据集：parsinlu_entail_pair3class，版本为c49b2d8
• 大小：2,697个训练样本
• 列：sentence1、sentence2和label
• 基于前1000个样本的近似统计： | | sentence1 | sentence2 | label | | ---- | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | 整数 | | 详情 |
  • 最小：3个词元
  • 平均：34.16个词元
  • 最大：203个词元
  |
  • 最小：3个词元
  • 平均：17.89个词元
  • 最大：73个词元
  |
  • 0：约39.30%
  • 1：约31.60%
  • 2：约29.10%
  |
• 样本： | sentence1 | sentence2 | label | | ---- | ---- | ---- | | زنان به قدری بخش بزرگی از نیروی کار را تشکیل می دهند که به سختی می توان باور داشت که اگر این امر در مورد زنان صادق نباشد ، این امر می تواند صادق باشد. | مردان بخش عظیمی از نیروی کار هستند بنابراین تنها افراد مهم هستند. | 2 | | سالها است که کنگره در تلاش است تا اثربخشی مدیریت اطلاعات و فناوری را در دولت فدرال افزایش دهد. | کنگره بودجه ویژه ای برای مدیریت اطلاعات و فناوری در دولت فدرال دارد. | 1 | | سرامیک‌های زیست خنثی پس از قرارگیری در بدن میزبان خواص فیزیکی و مکانیکی خود را حفظ می‌کند. | خواص فیزیکی سرامیک‌ها قابل اندازه گیری است. | 1 |
• 损失函数：SoftmaxLoss

pquad_pair

• 数据集：pquad_pair
• 大小：79,972个训练样本
• 列：positive和anchor
• 基于前1000个样本的近似统计： | | positive | anchor | | ---- | ---- | ---- | | 类型 | 字符串 | 字符串 | | 详情 |
  • 最小：19个词元
  • 平均：183.65个词元
  • 最大：366个词元
  |
  • 最小：5个词元
  • 平均：13.95个词元
  • 最大：36个词元
  |
• 样本： | positive | anchor | | ---- | ---- | | （此处原文positive内容过长，未完整展示） | |