Gte Small Q8 0 GGUF

🚀 gte-small

このモデルは、分類、検索、クラスタリング、再ランキング、STSなどの様々な自然言語処理タスクにおいて評価されています。thenlper/gte-smallをベースモデルとしており、MITライセンスの下で提供されています。

📚 ドキュメント

モデル情報

評価結果

分類タスク

• MTEB AmazonCounterfactualClassification (en)
  • 精度 (accuracy): 73.22388059701493
  • AP (ap): 36.09895941426988
  • F1スコア (f1): 67.3205651539195
• MTEB AmazonPolarityClassification
  • 精度 (accuracy): 91.81894999999999
  • AP (ap): 88.5240138417305
  • F1スコア (f1): 91.80367382706962
• MTEB AmazonReviewsClassification (en)
  • 精度 (accuracy): 48.032
  • F1スコア (f1): 47.4490665674719
• MTEB Banking77Classification
  • 精度 (accuracy): 84.0844155844156
  • F1スコア (f1): 84.01485017302213

検索タスク

• MTEB ArguAna
  • MAP@1 (map_at_1): 30.725
  • MAP@10 (map_at_10): 46.604
  • 他の指標も多数記載されています（省略）
• MTEB CQADupstackAndroidRetrieval
  • MAP@1 (map_at_1): 30.261
  • MAP@10 (map_at_10): 42.419000000000004
  • 他の指標も多数記載されています（省略）

クラスタリングタスク

• MTEB ArxivClusteringP2P
  • V-measure (v_measure): 47.90178078197678
• MTEB ArxivClusteringS2S
  • V-measure (v_measure): 40.25728393431922
• MTEB BiorxivClusteringP2P
  • V-measure (v_measure): 38.36574769259432
• MTEB BiorxivClusteringS2S
  • V-measure (v_measure): 35.4857033165287

再ランキングタスク

• MTEB AskUbuntuDupQuestions
  • MAP (map): 61.720297062897764
  • MRR (mrr): 75.24139295607439

STSタスク

• MTEB BIOSSES
  • コサイン類似度のピアソン相関 (cos_sim_pearson): 89.43527309184616
  • コサイン類似度のスピアマン相関 (cos_sim_spearman): 88.17128615100206
  • 他の指標も多数記載されています（省略）

📄 ライセンス

このモデルはMITライセンスの下で提供されています。