Mental Health Harmonisation 1

🚀 基於sentence-transformers/all-mpnet-base-v2的句子轉換器

本項目基於 sentence-transformers 框架，從 sentence-transformers/all-mpnet-base-v2 模型微調而來。它能夠將句子和段落映射到768維的密集向量空間，可用於語義文本相似度計算、語義搜索、釋義挖掘、文本分類、聚類等任務。

✨ 主要特性

• 語義相似度計算：能夠準確計算句子之間的語義相似度。
• 多任務支持：可用於多種自然語言處理任務，如文本分類、聚類等。
• 高效映射：將句子和段落快速映射到768維的密集向量空間。

📦 安裝指南

首先，你需要安裝 sentence-transformers 庫：

pip install -U sentence-transformers

💻 使用示例

基礎用法

from sentence_transformers import SentenceTransformer

# 從🤗 Hub下載模型
model = SentenceTransformer("sentence_transformers_model_id")
# 運行推理
sentences = [
    'I am not good at expressing my true feelings by the way I talk and look.',
    'Felt nervous or anxious?',
    'Experienced sleep disturbances?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# 獲取嵌入向量的相似度分數
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

📚 詳細文檔

模型詳情

模型描述

模型來源

• 文檔：Sentence Transformers 文檔
• 倉庫：GitHub上的Sentence Transformers
• Hugging Face：Hugging Face上的Sentence Transformers

完整模型架構

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

評估

指標

語義相似度

使用 EmbeddingSimilarityEvaluator 進行評估。

訓練詳情

訓練數據集

未命名數據集

• 規模：2351個訓練樣本
• 列名：sentence1、sentence2 和 score
• 基於前1000個樣本的近似統計信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
  • 最小：5個詞元
  • 平均：16.73個詞元
  • 最大：47個詞元
  |
  • 最小：5個詞元
  • 平均：14.82個詞元
  • 最大：28個詞元
  |
  • 最小：0.0
  • 平均：0.26
  • 最大：1.0
  |
• 樣本示例： | sentence1 | sentence2 | score | |------|------|------| | Do you believe in telepathy (mind-reading)? | I believe that there are secret signs in the world if you just know how to look for them. | 0.15 | | Irritable behavior, angry outbursts, or acting aggressively? | Felt “on edge”? | 0.62 | | I have some eccentric (odd) habits. | I often have difficulty following what someone is saying to me. | 0.0 |
• 損失函數：CosineSimilarityLoss，參數如下：

{
    "loss_fct": "torch.nn.modules.loss.L1Loss"
}

評估數據集

未命名數據集

• 規模：236個評估樣本
• 列名：sentence1、sentence2 和 score
• 基於前236個樣本的近似統計信息： | | sentence1 | sentence2 | score | |------|------|------|------| | 類型 | 字符串 | 字符串 | 浮點數 | | 詳情 |
  • 最小：6個詞元
  • 平均：16.4個詞元
  • 最大：47個詞元
  |
  • 最小：5個詞元
  • 平均：14.76個詞元
  • 最大：28個詞元
  |
  • 最小：0.0
  • 平均：0.29
  • 最大：1.0
  |
• 樣本示例： | sentence1 | sentence2 | score | |------|------|------| | Feeling afraid as if something awful might happen? | I have trouble following conversations with others. | 0.19 | | Do you believe in telepathy (mind-reading)? | Feeling jumpy or easily startled? | 0.1 | | Other people see me as slightly eccentric (odd). | I have felt that there were messages for me in the way things were arranged, like furniture in a room. | 0.0 |
• 損失函數：CosineSimilarityLoss，參數如下：

{
    "loss_fct": "torch.nn.modules.loss.L1Loss"
}

訓練超參數

非默認超參數

• eval_strategy：steps
• per_device_train_batch_size：16

所有超參數

訓練日誌

框架版本

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

📄 引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}