Stsb M Mt Es Distiluse Base Multilingual Cased V1

🚀 テスト用のSTSモデル

このモデルは、STSモデルの理解とベンチマークを目的として、stsb_multi_mt のスペイン語データセットを使用して微調整されたテスト用モデルです。

🚀 クイックスタート

このモデルは、Sentence TransformersのSTS用のトレーニングスクリプトの修正版を使用して、Semantic Textual Similarityタスクで distiluse-base-multilingual-cased-v1 をトレーニングすることで構築されました（修正スクリプトはリポジトリに含まれています）。トレーニングには、stsb_multi_mt のスペイン語データセットが使用されており、これはSTSBenchmarkデータセットをdeepl.comを使用して自動的に他の言語に翻訳したものです。詳細はデータセットのリポジトリを参照してください。

✨ 主な機能

このモデルは、スペイン語データを使用したSTSの微調整の概念実証として構築されており、このトレーニングの仕組みを理解する以外に特定の用途はありません。

💻 使用例

他のSTSトレーニング済みモデルと同じように、文の埋め込みを抽出するために使用できます。Sentence Transformersのドキュメントを確認してください。

🔧 技術詳細

トレーニング手順

このモデルは、この Colab Notebook を使用してトレーニングされました。

評価結果

トレーニング前の distiluse-base-multilingual-cased-v1 をスペイン語のテストデータセットで評価した結果は以下の通りです。

2021-07-06 17:44:46 - EmbeddingSimilarityEvaluator: Evaluating the model on  dataset:
2021-07-06 17:45:00 - Cosine-Similarity :	Pearson: 0.7662	Spearman: 0.7583
2021-07-06 17:45:00 - Manhattan-Distance:	Pearson: 0.7805	Spearman: 0.7772
2021-07-06 17:45:00 - Euclidean-Distance:	Pearson: 0.7816	Spearman: 0.7778
2021-07-06 17:45:00 - Dot-Product-Similarity:	Pearson: 0.6610	Spearman: 0.6536

トレーニングスクリプトのデフォルト設定とスペイン語のトレーニングデータセットで微調整したバージョンの結果は以下の通りです。

2021-07-06 17:49:22 - EmbeddingSimilarityEvaluator: Evaluating the model on stsb-multi-mt-test dataset:
2021-07-06 17:49:24 - Cosine-Similarity :	Pearson: 0.8265	Spearman: 0.8207
2021-07-06 17:49:24 - Manhattan-Distance:	Pearson: 0.8131	Spearman: 0.8190
2021-07-06 17:49:24 - Euclidean-Distance:	Pearson: 0.8129	Spearman: 0.8190
2021-07-06 17:49:24 - Dot-Product-Similarity:	Pearson: 0.7773	Spearman: 0.7692

私たちの STS Evaluationリポジトリ では、このモデルの性能をSentence TransformersやTensorflow Hubの他のモデルと、標準のSTSBenchmarkと2017年のSTSBenchmark Task 3 for Spanishを使用して比較しています。

📚 ドキュメント

参考リソース

• トレーニングデータセット stsb_multi_mt
• Sentence Transformers Semantic Textual Similarity
• TensorflowとSentence-Transformersのモデルとの比較は sts_eval を確認
• スクリプトと評価を実行するための開発環境は こちら を確認