Stsb M Mt Es Distiluse Base Multilingual Cased V1

🚀 测试模型（STS微调）

这是一个测试模型，为了理解和对STS模型进行基准测试，使用来自 stsb_multi_mt 的西班牙语数据集对其进行了微调。

🚀 快速开始

你可以像使用其他经过训练的STS模型一样使用它来提取句子嵌入。具体操作可查看 Sentence Transformers 文档。

✨ 主要特性

此模型是基于 distiluse-base-multilingual-cased-v1 构建的，通过使用来自 Sentence Transformers 的修改版 STS 训练脚本（修改后的脚本包含在仓库中），在语义文本相似度任务上进行训练。训练使用了来自 stsb_multi_mt 的西班牙语数据集，这些数据集是使用 deepl.com 自动翻译成其他语言的 STSBenchmark 数据集。更多详细信息请参考数据集仓库。

📚 详细文档

预期用途和局限性

该模型仅作为使用西班牙语数据进行 STS 微调的概念验证而构建，除了了解这种训练的工作原理外，没有特定的用途。

训练过程

此模型使用这个 Colab Notebook 进行训练。

评估结果

在训练前，在西班牙语测试数据集上对 distiluse-base-multilingual-cased-v1 进行评估，结果如下：

2021-07-06 17:44:46 - EmbeddingSimilarityEvaluator: Evaluating the model on  dataset:
2021-07-06 17:45:00 - Cosine-Similarity :	Pearson: 0.7662	Spearman: 0.7583
2021-07-06 17:45:00 - Manhattan-Distance:	Pearson: 0.7805	Spearman: 0.7772
2021-07-06 17:45:00 - Euclidean-Distance:	Pearson: 0.7816	Spearman: 0.7778
2021-07-06 17:45:00 - Dot-Product-Similarity:	Pearson: 0.6610	Spearman: 0.6536

使用训练脚本的默认设置和西班牙语训练数据集进行微调后的版本，评估结果如下：

2021-07-06 17:49:22 - EmbeddingSimilarityEvaluator: Evaluating the model on stsb-multi-mt-test dataset:
2021-07-06 17:49:24 - Cosine-Similarity :	Pearson: 0.8265	Spearman: 0.8207
2021-07-06 17:49:24 - Manhattan-Distance:	Pearson: 0.8131	Spearman: 0.8190
2021-07-06 17:49:24 - Euclidean-Distance:	Pearson: 0.8129	Spearman: 0.8190
2021-07-06 17:49:24 - Dot-Product-Similarity:	Pearson: 0.7773	Spearman: 0.7692

在我们的 STS 评估仓库 中，我们使用标准的 STSBenchmark 和 2017 年西班牙语 STSBenchmark 任务 3，将该模型的性能与 Sentence Transformers 和 Tensorflow Hub 中的其他模型进行了比较。

📦 资源