LENS D4000

🚀 Gouzi3618/LENS-4000

このモデルは、テキスト埋め込み、特徴抽出、文の類似度計算などのタスクに特化したTransformerベースのモデルです。MTEBベンチマークでの高い性能を誇り、様々な自然言語処理タスクに適用可能です。

📚 詳細ドキュメント

モデル情報

評価結果

Classificationタスク

• MTEB AmazonCounterfactualClassification (en)
  • 正解率 (accuracy): 93.61194029850746
  • AP (ap): 73.89383804438975
  • 重み付きAP (ap_weighted): 73.89383804438975
  • F1スコア (f1): 90.31690759629414
  • 重み付きF1スコア (f1_weighted): 93.75647989786705
  • メインスコア (main_score): 93.61194029850746
• MTEB AmazonPolarityClassification (default)
  • 正解率 (accuracy): 97.05455
  • AP (ap): 95.53082050876944
  • 重み付きAP (ap_weighted): 95.53082050876944
  • F1スコア (f1): 97.05405422635297
  • 重み付きF1スコア (f1_weighted): 97.05405422635297
  • メインスコア (main_score): 97.05455
• MTEB AmazonReviewsClassification (en)
  • 正解率 (accuracy): 62.834
  • F1スコア (f1): 61.45864309016823
  • 重み付きF1スコア (f1_weighted): 61.45864309016823
  • メインスコア (main_score): 62.834

Retrievalタスク

• MTEB ArguAna (default)
  • メインスコア (main_score): 77.31700000000001
  • MAP@1 (map_at_1): 56.757000000000005
  • MAP@10 (map_at_10): 71.136
  • MAP@100 (map_at_100): 71.339
  • MAP@1000 (map_at_1000): 71.34
  • MAP@20 (map_at_20): 71.314
  • MAP@3 (map_at_3): 68.67
  • MAP@5 (map_at_5): 70.274
  • MRR@1 (mrr_at_1): 57.7524893314367
  • MRR@10 (mrr_at_10): 71.48944997629222
  • MRR@100 (mrr_at_100): 71.69295763275832
  • MRR@1000 (mrr_at_1000): 71.69337848338161
  • MRR@20 (mrr_at_20): 71.66813464342809
  • MRR@3 (mrr_at_3): 69.04931247036524
  • MRR@5 (mrr_at_5): 70.61403508771947
  • 他の指標 (nauc_* など) も多数記載されています。

Clusteringタスク

• MTEB ArxivClusteringP2P (default)
  • メインスコア (main_score): 54.87086052375513
  • V-measure (v_measure): 54.87086052375513
  • V-measure標準偏差 (v_measure_std): 14.454097589509681
• MTEB ArxivClusteringS2S (default)
  • メインスコア (main_score): 50.24788850687535
  • V-measure (v_measure): 50.24788850687535
  • V-measure標準偏差 (v_measure_std): 14.477615357158207

Rerankingタスク

• MTEB AskUbuntuDupQuestions (default)
  • メインスコア (main_score): 65.44621361559305
  • MAP (map): 65.44621361559305
  • MRR (mrr): 78.08380600624368
  • 他の指標 (nAUC_* など) も多数記載されています。

STSタスク

• MTEB BIOSSES (default)
  • コサイン相関係数 (cosine_pearson): 85.46985769611739
  • コサインスピアマン相関係数 (cosine_spearman): 84.47120184207104
  • ユークリッド距離相関係数 (euclidean_pearson): 83.12042031068798
  • ユークリッド距離スピアマン相関係数 (euclidean_spearman): 84.47120184207104
  • メインスコア (main_score): 84.47120184207104
  • マンハッタン距離相関係数 (manhattan_pearson): 84.05034163855613
  • マンハッタン距離スピアマン相関係数 (manhattan_spearman): 85.87725797639943
  • 相関係数 (pearson): 85.46985769611739
  • スピアマン相関係数 (spearman): 84.47120184207104

Retrievalタスク (他)

• MTEB CQADupstackAndroidRetrieval (default)
  • メインスコア (main_score): 57.058
  • MAP@1 (map_at_1): 37.856
  • MAP@10 (map_at_10): 50.468
  • MAP@100 (map_at_100): 52.122
  • MAP@1000 (map_at_1000): 52.227999999999994
  • MAP@20 (map_at_20): 51.452
  • MAP@3 (map_at_3): 46.035
  • MAP@5 (map_at_5): 48.697
  • MRR@1 (mrr_at_1): 46.49499284692418
  • MRR@10 (mrr_at_10): 56.45865976338077
  • MRR@100 (mrr_at_100): 57.15406103632462
  • MRR@1000 (mrr_at_1000): 57.186669571472
  • 他の指標 (MRR@20 など) も多数記載されています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。