🚀 多语言句子嵌入模型 paraphrase-multilingual-mpnet-base-v2-embedding-all
本模型是 paraphrase-multilingual-mpnet-base-v2 的微调版本,在以下数据集上进行了微调:squad、newsqa、LLukas22/cqadupstack、LLukas22/fiqa、LLukas22/scidocs、deepset/germanquad、LLukas22/nq。该模型可用于句子相似度计算等任务。
🚀 快速开始
本模型可以借助 sentence-transformers 库轻松使用。
📦 安装指南
首先,确保你已经安装了 sentence-transformers
库,可使用以下命令进行安装:
pip install -U sentence-transformers
💻 使用示例
基础用法
安装完成后,你可以按照以下示例代码使用该模型:
from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]
model = SentenceTransformer('LLukas22/paraphrase-multilingual-mpnet-base-v2-embedding-all')
embeddings = model.encode(sentences)
print(embeddings)
🔧 技术细节
训练超参数
以下是训练过程中使用的超参数:
- 学习率(learning_rate):1E+00
- 每个设备的批量大小(per device batch size):40
- 有效批量大小(effective batch size):120
- 随机种子(seed):42
- 优化器(optimizer):AdamW,β值为 (0.9, 0.999),ε值为 1E-08
- 权重衰减(weight decay):2E-02
- D 自适应(D-Adaptation):True
- 热身(Warmup):True
- 训练轮数(number of epochs):15
- 混合精度训练(mixed_precision_training):bf16
训练结果
轮数(Epoch) |
训练损失(Train Loss) |
验证损失(Validation Loss) |
0 |
0.085 |
0.0625 |
1 |
0.0598 |
0.0554 |
2 |
0.0484 |
0.0518 |
3 |
0.0405 |
0.0485 |
4 |
0.0341 |
0.0463 |
5 |
0.0287 |
0.0454 |
6 |
0.0243 |
0.0445 |
7 |
0.0207 |
0.0426 |
8 |
0.0177 |
0.0424 |
9 |
0.0153 |
0.0421 |
10 |
0.0134 |
0.0417 |
11 |
0.012 |
0.0411 |
12 |
0.011 |
0.0414 |
评估结果
轮数(Epoch) |
前 1 准确率(top_1) |
前 3 准确率(top_3) |
前 5 准确率(top_5) |
前 10 准确率(top_10) |
前 25 准确率(top_25) |
0 |
0.261 |
0.351 |
0.384 |
0.422 |
0.459 |
1 |
0.272 |
0.365 |
0.4 |
0.439 |
0.477 |
2 |
0.276 |
0.37 |
0.404 |
0.443 |
0.481 |
3 |
0.292 |
0.391 |
0.426 |
0.465 |
0.503 |
4 |
0.295 |
0.395 |
0.431 |
0.47 |
0.51 |
5 |
0.299 |
0.4 |
0.437 |
0.476 |
0.514 |
6 |
0.306 |
0.404 |
0.44 |
0.478 |
0.515 |
7 |
0.309 |
0.41 |
0.445 |
0.485 |
0.521 |
8 |
0.31 |
0.411 |
0.448 |
0.487 |
0.524 |
9 |
0.315 |
0.417 |
0.454 |
0.493 |
0.529 |
10 |
0.319 |
0.42 |
0.457 |
0.495 |
0.53 |
11 |
0.323 |
0.424 |
0.46 |
0.497 |
0.531 |
12 |
0.324 |
0.427 |
0.464 |
0.501 |
0.536 |
框架版本
- Transformers:4.25.1
- PyTorch:2.0.0.dev20230210+cu118
- PyTorch Lightning:1.8.6
- Datasets:2.7.1
- Tokenizers:0.13.1
- Sentence Transformers:2.2.2
📚 详细文档
本模型是作者硕士论文 'Evaluation of transformer based language models for use in service information systems' 的一部分。源代码可在 Github 上获取。
📄 许可证
本模型采用 Apache-2.0 许可证。