GIST-all-MiniLM-L6-v2オープンソースモデル - 文間の類似度を処理し、多様なNLPシーンに適用可能

ホーム

GIST All MiniLM L6 V2

avsolatorioによって開発

GIST-all-MiniLM-L6-v2は、文の類似度タスクに特化したSentence-Transformersモデルで、特徴抽出、分類、検索、クラスタリングなどの様々な自然言語処理シーンに適しています。

テキスト埋め込み英語オープンソースライセンス:MIT #文の類似度計算 #マルチタスク性能の均衡化 #テキスト検索の最適化

ダウンロード数 99.17k

リリース時間 : 2/3/2024

モデル概要

このモデルはMiniLMアーキテクチャに基づいており、文レベルの類似度計算を処理するように最適化されており、テキスト分類、情報検索、クラスタリング分析などの様々な下流タスクをサポートします。

モデル特徴

効率的な文埋め込み

大規模なテキスト処理に適した、高品質の文埋め込みを迅速に生成できます。

マルチタスク適合

分類、検索、クラスタリングなどの様々な下流タスクに適合するように最適化されています。

軽量型アーキテクチャ

MiniLMアーキテクチャに基づいており、性能を維持しながら計算リソースの要求を削減します。

モデル能力

文の類似度計算

テキスト特徴抽出

テキスト分類

情報検索

テキストクラスタリング

意味的テキスト類似度分析

使用事例

電子商取引

商品レビュー分類

アマゾンの商品レビューの感情極性を分類します。

AmazonPolarityClassificationデータセットで87.19%の正解率を達成しました。

反事実レビュー検出

アマゾンプラットフォーム上の反事実レビューを識別します。

AmazonCounterfactualClassificationデータセットで72.89%の正解率を達成しました。

金融

銀行客服問題分類

銀行の顧客サービス問題を自動分類します。

Banking77Classificationデータセットで84.24%の正解率を達成しました。

学術研究

学術論文クラスタリング

arXivとbioRxivの論文をテーマ別にクラスタリングします。

ArxivClusteringP2Pデータセットで45.31のV-measureを達成しました。

🚀 GIST-all-MiniLM-L6-v2

GIST-all-MiniLM-L6-v2は、sentence-transformersライブラリを用いた文の類似度計算に特化したモデルです。このモデルは、様々な自然言語処理タスクで高い性能を発揮します。

📚 詳細ドキュメント

モデル情報

属性	詳情
モデルタイプ	文の類似度計算
ライセンス	MIT
パイプラインタグ	文の類似度
タグ	特徴抽出、MTEB、文の類似度、sentence-transformers

評価結果

分類タスク

MTEB AmazonCounterfactualClassification (en)
- 正解率 (accuracy): 72.8955223880597
- 平均精度 (ap): 35.447605103320775
- F1スコア (f1): 66.82951715365854
MTEB AmazonPolarityClassification
- 正解率 (accuracy): 87.19474999999998
- 平均精度 (ap): 83.09577890808514
- F1スコア (f1): 87.13833121762009
MTEB AmazonReviewsClassification (en)
- 正解率 (accuracy): 42.556000000000004
- F1スコア (f1): 42.236256693772276
MTEB Banking77Classification
- 正解率 (accuracy): 84.2435064935065
- F1スコア (f1): 84.2334859253828

検索タスク

MTEB ArguAna
- MAP@1: 26.884999999999998
- MAP@10: 42.364000000000004
- MAP@100: 43.382
- MAP@1000: 43.391000000000005
- MRR@1: 26.884999999999998
- MRR@10: 42.193999999999996
- MRR@100: 43.211
- MRR@1000: 43.221
- NDCG@1: 26.884999999999998
- NDCG@10: 51.254999999999995
- NDCG@100: 55.481
- NDCG@1000: 55.68300000000001
- Precision@1: 26.884999999999998
- Precision@10: 7.9799999999999995
- Precision@100: 0.98
- Precision@1000: 0.1
- Recall@1: 26.884999999999998
- Recall@10: 79.801
- Recall@100: 98.009
- Recall@1000: 99.502
MTEB CQADupstackAndroidRetrieval
- MAP@1: 35.016999999999996
- MAP@10: 47.019
- MAP@100: 48.634
- MAP@1000: 48.757
- MRR@1: 43.491
- MRR@10: 53.284
- MRR@100: 54.038
- MRR@1000: 54.071000000000005
- NDCG@1: 43.491
- NDCG@10: 53.498999999999995
- NDCG@100: 58.733999999999995
- NDCG@1000: 60.307
- Precision@1: 43.491
- Precision@10: 10.315000000000001
- Precision@100: 1.6209999999999998
- Precision@1000: 0.20500000000000002
- Recall@1: 35.016999999999996
- Recall@10: 64.92
- Recall@100: 86.605
- Recall@1000: 96.174
MTEB CQADupstackEnglishRetrieval
- MAP@1: 29.866
- MAP@10: 40.438
- MAP@100: 41.77
- MAP@1000: 41.913
- MRR@1: 37.834
- MRR@10: 46.765
- MRR@100: 47.410000000000004
- MRR@1000: 47.461
- NDCG@1: 37.834
- NDCG@10: 46.303
- NDCG@100: 50.879
- NDCG@1000: 53.112
- Precision@1: 37.834
- Precision@10: 8.898
- Precision@100: 1.4409999999999998
- Precision@1000: 0.19499999999999998
- Recall@1: 29.866
- Recall@10: 56.06100000000001
- Recall@100: 75.809
- Recall@1000: 89.875
MTEB CQADupstackGamingRetrieval
- MAP@1: 38.985
- MAP@10: 51.165000000000006
- MAP@100: 52.17
- MAP@1000: 52.229000000000006
- MRR@1: 44.577
- MRR@10: 54.493
- MRR@100: 55.137
- MRR@1000: 55.167
- NDCG@1: 44.577
- NDCG@10: 56.825
- NDCG@100: 60.842
- NDCG@1000: 62.015
- Precision@1: 44.577
- Precision@10: 9.11
- Precision@100: 1.206
- Precision@1000: 0.135
- Recall@1: 38.985
- Recall@10: 70.164
- Recall@100: 87.708
- Recall@1000: 95.979
MTEB CQADupstackGisRetrieval
- MAP@1: 28.137
- MAP@10: 36.729
- MAP@100: 37.851
- MAP@1000: 37.932
- MRR@1: 30.621
- MRR@10: 39.007
- MRR@100: 39.961
- MRR@1000: 40.02
- NDCG@1: 30.621
- NDCG@10: 41.772
- NDCG@100: 47.181
- NDCG@1000: 49.053999999999995
- Precision@1: 30.621
- Precision@10: 6.372999999999999
- Precision@100: 0.955
- Precision@1000: 0.11499999999999999
- Recall@1: 28.137
- Recall@10: 55.162
- Recall@100: 79.931
- Recall@1000: 93.67
MTEB CQADupstackMathematicaRetrieval
- MAP@1: 16.798
- MAP@10: 25.267
- MAP@100: 26.579000000000004
- MAP@1000: 26.697
- MRR@1: 20.771
- MRR@10: 29.843999999999998
- MRR@100: 30.849
- MRR@1000: 30.916
- NDCG@1: 20.771
- NDCG@10: 30.792
- NDCG@100: 36.945
- NDCG@1000: 39.619
- Precision@1: 20.771
- Precision@10: 5.734
- Precision@100: 1.031
- Precision@1000: 0.13899999999999998
- Recall@1: 16.798
- Recall@10: 43.332
- Recall@100: 70.016
- Recall@1000: 88.90400000000001
MTEB CQADupstackPhysicsRetrieval
- MAP@1: 31.180000000000003
- MAP@10: 41.78
- MAP@100: 43.102000000000004
- MAP@1000: 43.222
- MRR@1: 37.824999999999996
- MRR@10: 47.481
- MRR@100: 48.268
- MRR@1000: 48.313
- NDCG@1: 37.824999999999996
- NDCG@10: 47.827
- NDCG@100: 53.407000000000004
- NDCG@1000: 55.321
- Precision@1: 37.824999999999996
- Precision@10: 8.652999999999999
- Precision@100: 1.354
- Precision@1000: 0.172
- Recall@1: 31.180000000000003
- Recall@10: 59.894000000000005
- Recall@100: 83.722
- Recall@1000: 95.705
MTEB CQADupstackProgrammersRetrieval
- MAP@1: 24.66
- MAP@10: 34.141
- MAP@100: 35.478
- MAP@1000: 35.594
- MRR@1: 29.909000000000002
- MRR@10: 38.949
- MRR@100: 39.803
- MRR@1000: 39.867999999999995
- NDCG@1: 29.909000000000002
- NDCG@10: 40.012
- NDCG@100: 45.707
- NDCG@1000: 48.15
- Precision@1: 29.909000000000002
- Precision@10: 7.693999999999999
- Precision@100: 1.2229999999999999
- Precision@1000: 0.16
- Recall@1: 24.66
- Recall@10: 52.478
- Recall@100: 77.051
- Recall@1000: 93.872
MTEB CQADupstackRetrieval
- MAP@1: 26.768416666666667
- MAP@10: 36.2485
- MAP@100: 37.520833333333336
- MAP@1000: 37.64033333333334
- MRR@1: 31.65408333333334
- MRR@10: 40.43866666666667
- MRR@100: 41.301249999999996
- MRR@1000: 41.357499999999995
- NDCG@1: 31.65408333333334
- NDCG@10: 41.76983333333334
- NDCG@100: 47.138
- NDCG@1000: 49.33816666666667
- Precision@1: 31.65408333333334
- Precision@10: 7.396249999999998
- Precision@100: 1.1974166666666666
- Precision@1000: 0.15791666666666668
- Recall@1: 26.768416666666667
- Recall@10: 53.82366666666667
- Recall@100: 77.39600000000002
- Recall@1000: 92.46300000000001
MTEB CQADupstackStatsRetrieval
- MAP@1: 24.369
- MAP@10: 32.025
- MAP@100: 33.08
- MAP@1000: 33.169
- MRR@1: 27.301
- MRR@10: 34.64
- MRR@100: 35.556
- MRR@1000: 35.616
- NDCG@1: 27.301
- NDCG@10: 36.386
- NDCG@100: 41.598
- NDCG@1000: 43.864999999999995
- Precision@1: 27.301
- Precision@10: 5.782
- Precision@100: 0.923
- Precision@1000: 0.11900000000000001
- Recall@1: 24.369
- Recall@10: 47.026
- Recall@100: 70.76400000000001
- Recall@1000: 87.705

クラスタリングタスク

MTEB ArxivClusteringP2P
- V-measure: 45.31044837358167
MTEB ArxivClusteringS2S
- V-measure: 35.44751738734691
MTEB BiorxivClusteringP2P
- V-measure: 38.38358435972693
MTEB BiorxivClusteringS2S
- V-measure: 31.093619653843124

再ランキングタスク

MTEB AskUbuntuDupQuestions
- MAP: 62.96517580629869
- MRR: 76.30051004704744

STSタスク

MTEB BIOSSES
- コサイン類似度のピアソン相関係数 (cos_sim_pearson): 83.97262600499639
- コサイン類似度のスピアマン相関係数 (cos_sim_spearman): 81.25787561220484
- ユークリッド距離のピアソン相関係数 (euclidean_pearson): 64.96260261677082
- ユークリッド距離のスピアマン相関係数 (euclidean_spearman): 64.17616109254686
- マンハッタン距離のピアソン相関係数 (manhattan_pearson): 65.05620628102835
- マンハッタン距離のスピアマン相関係数 (manhattan_spearman): 64.71171546419122