Mental Health Harmonisation 1

🚀 基于sentence-transformers/all-mpnet-base-v2的句子转换器

本项目基于 sentence-transformers 框架，从 sentence-transformers/all-mpnet-base-v2 模型微调而来。它能够将句子和段落映射到768维的密集向量空间，可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。

✨ 主要特性

• 语义相似度计算：能够准确计算句子之间的语义相似度。
• 多任务支持：可用于多种自然语言处理任务，如文本分类、聚类等。
• 高效映射：将句子和段落快速映射到768维的密集向量空间。

📦 安装指南

首先，你需要安装 sentence-transformers 库：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    'I am not good at expressing my true feelings by the way I talk and look.',
    'Felt nervous or anxious?',
    'Experienced sleep disturbances?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 获取嵌入向量的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 详细文档

模型详情

模型描述

模型来源

• 文档：Sentence Transformers 文档
• 仓库：GitHub上的Sentence Transformers
• Hugging Face：Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

评估

指标

语义相似度

使用 EmbeddingSimilarityEvaluator 进行评估。

训练详情

训练数据集

未命名数据集

• 规模：2351个训练样本
• 列名：sentence1、sentence2 和 score
• 基于前1000个样本的近似统计信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
  • 最小：5个词元
  • 平均：16.73个词元
  • 最大：47个词元
  |
  • 最小：5个词元
  • 平均：14.82个词元
  • 最大：28个词元
  |
  • 最小：0.0
  • 平均：0.26
  • 最大：1.0
  |
• 样本示例： | sentence1 | sentence2 | score | |------|------|------| | Do you believe in telepathy (mind-reading)? | I believe that there are secret signs in the world if you just know how to look for them. | 0.15 | | Irritable behavior, angry outbursts, or acting aggressively? | Felt “on edge”? | 0.62 | | I have some eccentric (odd) habits. | I often have difficulty following what someone is saying to me. | 0.0 |
• 损失函数：CosineSimilarityLoss，参数如下：

{
    "loss_fct": "torch.nn.modules.loss.L1Loss"
}

评估数据集

未命名数据集

• 规模：236个评估样本
• 列名：sentence1、sentence2 和 score
• 基于前236个样本的近似统计信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 类型 | 字符串 | 字符串 | 浮点数 | | 详情 |
  • 最小：6个词元
  • 平均：16.4个词元
  • 最大：47个词元
  |
  • 最小：5个词元
  • 平均：14.76个词元
  • 最大：28个词元
  |
  • 最小：0.0
  • 平均：0.29
  • 最大：1.0
  |
• 样本示例： | sentence1 | sentence2 | score | |------|------|------| | Feeling afraid as if something awful might happen? | I have trouble following conversations with others. | 0.19 | | Do you believe in telepathy (mind-reading)? | Feeling jumpy or easily startled? | 0.1 | | Other people see me as slightly eccentric (odd). | I have felt that there were messages for me in the way things were arranged, like furniture in a room. | 0.0 |
• 损失函数：CosineSimilarityLoss，参数如下：

{
    "loss_fct": "torch.nn.modules.loss.L1Loss"
}

训练超参数

非默认超参数

• eval_strategy：steps
• per_device_train_batch_size：16

所有超参数

训练日志

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}