Stsb M Mt Es Distiluse Base Multilingual Cased V1

🚀 測試模型（STS微調）

這是一個測試模型，為了理解和對STS模型進行基準測試，使用來自 stsb_multi_mt 的西班牙語數據集對其進行了微調。

🚀 快速開始

你可以像使用其他經過訓練的STS模型一樣使用它來提取句子嵌入。具體操作可查看 Sentence Transformers 文檔。

✨ 主要特性

此模型是基於 distiluse-base-multilingual-cased-v1 構建的，通過使用來自 Sentence Transformers 的修改版 STS 訓練腳本（修改後的腳本包含在倉庫中），在語義文本相似度任務上進行訓練。訓練使用了來自 stsb_multi_mt 的西班牙語數據集，這些數據集是使用 deepl.com 自動翻譯成其他語言的 STSBenchmark 數據集。更多詳細信息請參考數據集倉庫。

📚 詳細文檔

預期用途和侷限性

該模型僅作為使用西班牙語數據進行 STS 微調的概念驗證而構建，除了瞭解這種訓練的工作原理外，沒有特定的用途。

訓練過程

此模型使用這個 Colab Notebook 進行訓練。

評估結果

在訓練前，在西班牙語測試數據集上對 distiluse-base-multilingual-cased-v1 進行評估，結果如下：

2021-07-06 17:44:46 - EmbeddingSimilarityEvaluator: Evaluating the model on  dataset:
2021-07-06 17:45:00 - Cosine-Similarity :	Pearson: 0.7662	Spearman: 0.7583
2021-07-06 17:45:00 - Manhattan-Distance:	Pearson: 0.7805	Spearman: 0.7772
2021-07-06 17:45:00 - Euclidean-Distance:	Pearson: 0.7816	Spearman: 0.7778
2021-07-06 17:45:00 - Dot-Product-Similarity:	Pearson: 0.6610	Spearman: 0.6536

使用訓練腳本的默認設置和西班牙語訓練數據集進行微調後的版本，評估結果如下：

2021-07-06 17:49:22 - EmbeddingSimilarityEvaluator: Evaluating the model on stsb-multi-mt-test dataset:
2021-07-06 17:49:24 - Cosine-Similarity :	Pearson: 0.8265	Spearman: 0.8207
2021-07-06 17:49:24 - Manhattan-Distance:	Pearson: 0.8131	Spearman: 0.8190
2021-07-06 17:49:24 - Euclidean-Distance:	Pearson: 0.8129	Spearman: 0.8190
2021-07-06 17:49:24 - Dot-Product-Similarity:	Pearson: 0.7773	Spearman: 0.7692

在我們的 STS 評估倉庫 中，我們使用標準的 STSBenchmark 和 2017 年西班牙語 STSBenchmark 任務 3，將該模型的性能與 Sentence Transformers 和 Tensorflow Hub 中的其他模型進行了比較。

📦 資源