🚀 all-mpnet-base-v2-negation
このモデルは文の類似度を計算するためのもので、様々なデータセットで訓練され、多くのタスクで良好な性能を示しています。
🚀 クイックスタート
このモデルは文の類似度タスクに最適化されています。以下にいくつかの使用例を示します。
ウィジェット使用例
[
{
"source_sentence": "That is a happy person.",
"sentences": [
"That is a cheerful person.",
"That is not a happy person.",
"That is a sad person."
],
"example_title": "Example 1"
},
{
"source_sentence": "I like rainy days because they make me feel relaxed.",
"sentences": [
"I like rainy days because they make me feel chill.",
"I don't like rainy days because they don't make me feel relaxed.",
"I don't like rainy days because they make me feel stressed out."
],
"example_title": "Example 2"
},
{
"source_sentence": "This model should work well with negations.",
"sentences": [
"This model should work well with negated sentences.",
"This model shouldn't work well with negations.",
"This model should work terribly with negations."
],
"example_title": "Example 3"
}
]
✨ 主な機能
- 文の類似度を高精度に計算できます。
- 否定文を含む様々な文に対応しています。
- 多くのデータセットで訓練され、汎用性が高いです。
📦 インストール
インストールに関する具体的な手順は提供されていません。
📚 ドキュメント
モデル情報
属性 |
詳情 |
パイプラインタグ |
文の類似度 |
推論 |
有効 |
モデルタイプ |
sentence-transformers |
訓練データ |
s2orc、flax-sentence-embeddings/stackexchange_xml、ms_marco、gooaq、yahoo_answers_topics、code_search_net、search_qa、eli5、snli、multi_nli、wikihow、natural_questions、trivia_qa、embedding-data/sentence-compression、embedding-data/flickr30k-captions、embedding-data/altlex、embedding-data/simple-wiki、embedding-data/QQP、embedding-data/SPECTER、embedding-data/PAQ_pairs、embedding-data/WikiAnswers、tum-nlp/cannot-dataset |
ライセンス |
apache-2.0 |
モデルの評価結果
モデル "all-mpnet-base-v2-negation" は、様々なタスクとデータセットで評価されています。以下にその結果を示します。
分類タスク
データセット |
精度 |
AP |
F1 |
MTEB AmazonCounterfactualClassification (en) |
72.6268656716418 |
36.40585820220466 |
67.06383995428979 |
MTEB AmazonPolarityClassification |
85.11834999999999 |
79.72843246428603 |
85.08938287851875 |
MTEB AmazonReviewsClassification (en) |
37.788000000000004 |
- |
37.40475118737949 |
MTEB Banking77Classification |
84.7012987012987 |
- |
84.61766470772943 |
MTEB EmotionClassification |
45.63 |
- |
40.24119129248194 |
MTEB ImdbClassification |
74.73479999999999 |
68.80435332319863 |
74.66014345440416 |
MTEB MTOPDomainClassification (en) |
93.06429548563612 |
- |
92.91686969560733 |
MTEB MTOPIntentClassification (en) |
78.19197446420428 |
- |
61.50020940946492 |
MTEB MassiveIntentClassification (en) |
73.86684599865502 |
- |
72.11245795864379 |
MTEB MassiveScenarioClassification (en) |
77.53866845998655 |
- |
77.51746806908895 |
クラスタリングタスク
データセット |
V-measure |
MTEB ArxivClusteringP2P |
45.73138953773995 |
MTEB ArxivClusteringS2S |
39.13609863309245 |
MTEB BiorxivClusteringP2P |
37.61314886948818 |
MTEB BiorxivClusteringS2S |
34.496442588205205 |
MTEB MedrxivClusteringP2P |
33.66744884855605 |
MTEB MedrxivClusteringS2S |
31.951900966550262 |
MTEB RedditClustering |
47.14306531904168 |
MTEB RedditClusteringP2P |
51.59878183893005 |
再ランキングタスク
データセット |
MAP |
MRR |
MTEB AskUbuntuDupQuestions |
65.56639026991134 |
77.8122938926263 |
MTEB MindSmallReranking |
29.34485636178124 |
30.118035109577022 |
MTEB SciDocsRR |
88.39411601972704 |
96.49192583016112 |
STSタスク
データセット |
コサイン類似度のピアソン相関 |
コサイン類似度のスピアマン相関 |
ユークリッド距離のピアソン相関 |
ユークリッド距離のスピアマン相関 |
マンハッタン距離のピアソン相関 |
マンハッタン距離のスピアマン相関 |
MTEB BIOSSES |
72.27098152643569 |
71.13475338373253 |
70.48545151074218 |
69.49917394727082 |
69.2653740752147 |
68.59192435931085 |
MTEB SICK-R |
78.5530506834234 |
77.45787185404667 |
76.37727601604011 |
77.14250754925013 |
75.85855462882735 |
76.6223895689777 |
MTEB STS12 |
83.1019526956277 |
72.98362332123834 |
78.42992808997602 |
70.79569301491145 |
77.96413528436207 |
70.34707852104586 |
MTEB STS13 |
85.09200805966644 |
85.52497834636847 |
84.20407512505086 |
85.35640946044332 |
83.79425758102826 |
84.9531731481683 |
MTEB STS14 |
82.43419245577238 |
79.87215923164575 |
80.99628882719712 |
79.2671186335978 |
80.47076166661054 |
78.82329686631051 |
MTEB STS15 |
84.67294508915346 |
85.34528695616378 |
83.65270617275111 |
84.64456096952591 |
83.26416114783083 |
84.26944094512996 |
MTEB STS16 |
80.70172607906416 |
81.96031310316046 |
82.34820192315314 |
82.72576940549405 |
81.93093910116202 |
82.25431799152639 |
MTEB STS17 (en-en) |
90.43640731744911 |
90.16343998541602 |
89.49834342254633 |
90.17304989919288 |
89.32424382015218 |
89.91884845996768 |
MTEB STS22 (en) |
62.06205206393254 |
60.920792876665885 |
60.49188637403393 |
60.73500415357452 |
59.94692152491976 |
60.215426858338994 |
MTEB STSBenchmark |
84.78948820087687 |
84.64531509697663 |
84.77264321816324 |
84.67485410196043 |
84.43100272264775 |
84.29254033404217 |
ペア分類タスク
データセット |
コサイン類似度の精度 |
コサイン類似度のAP |
コサイン類似度のF1 |
コサイン類似度の精度 |
コサイン類似度の再現率 |
ドット積の精度 |
ドット積のAP |
ドット積のF1 |
ドット積の精度 |
ドット積の再現率 |
ユークリッド距離の精度 |
ユークリッド距離のAP |
ユークリッド距離のF1 |
ユークリッド距離の精度 |
ユークリッド距離の再現率 |
マンハッタン距離の精度 |
MTEB SprintDuplicateQuestions |
99.55445544554455 |
84.82462858434408 |
76.11464968152866 |
81.10859728506787 |
71.7 |
99.48613861386139 |
80.97278220281665 |
72.2914669223394 |
69.42909760589319 |
75.4 |
99.56138613861386 |
85.21566333946467 |
76.60239708181345 |
79.97823721436343 |
73.5 |
99.55148514851486 |
🔧 技術詳細
技術的な詳細は提供されていません。
📄 ライセンス
このモデルはApache 2.0ライセンスの下で提供されています。