Gte Large Zh

🚀 gte-large-zh

gte-large-zhは、様々な自然言語処理タスクで高い性能を発揮するモデルです。このモデルは、STSや分類、クラスタリング、再ランキング、検索などのタスクに適用でき、複数のデータセットでの評価結果が提供されています。

📚 ドキュメント

モデル情報

評価結果

1. STSタスク

• C-MTEB/AFQMC (validation)

  指標	値
  cos_sim_pearson	48.94131905219026
  cos_sim_spearman	54.58261199731436
  euclidean_pearson	52.73929210805982
  euclidean_spearman	54.582632097533676
  manhattan_pearson	52.73123295724949
  manhattan_spearman	54.572941830465794

• C-MTEB/ATEC (test)

  指標	値
  cos_sim_pearson	47.292931669579005
  cos_sim_spearman	54.601019783506466
  euclidean_pearson	54.61393532658173
  euclidean_spearman	54.60101865708542
  manhattan_pearson	54.59369555606305
  manhattan_spearman	54.601098593646036

• C-MTEB/BQ (test)

  指標	値
  cos_sim_pearson	62.55033151404683
  cos_sim_spearman	64.40573802644984
  euclidean_pearson	62.93453281081951
  euclidean_spearman	64.40574149035828
  manhattan_pearson	62.839969210895816
  manhattan_spearman	64.30837945045283

• C-MTEB/LCQMC (test)

  指標	値
  cos_sim_pearson	69.50947272908907
  cos_sim_spearman	74.40054474949213
  euclidean_pearson	73.53007373987617
  euclidean_spearman	74.40054474732082
  manhattan_pearson	73.51396571849736
  manhattan_spearman	74.38395696630835

2. 分類タスク

• mteb/amazon_reviews_multi (zh, test)

  指標	値
  accuracy	47.233999999999995
  f1	45.68998446563349

• C-MTEB/IFlyTek-classification (validation)

  指標	値
  accuracy	49.60369372835706
  f1	38.24016248875209

• C-MTEB/JDReview-classification (test)

  指標	値
  accuracy	86.71669793621012
  ap	55.75807094995178
  f1	81.59033162805417

• mteb/amazon_massive_intent (zh-CN, test)

  指標	値
  accuracy	73.30531271015468
  f1	70.88091430578575

• mteb/amazon_massive_scenario (zh-CN, test)

  指標	値
  accuracy	75.7128446536651
  f1	75.06125593532262

3. クラスタリングタスク

• C-MTEB/CLSClusteringP2P (test)

  指標	値
  v_measure	42.098169316685045

• C-MTEB/CLSClusteringS2S (test)

  指標	値
  v_measure	38.90716707051822

4. 再ランキングタスク

• C-MTEB/CMedQAv1-reranking (test)

  指標	値
  map	86.09191911031553
  mrr	88.6747619047619

• C-MTEB/CMedQAv2-reranking (test)

  指標	値
  map	86.45781885502122
  mrr	89.01591269841269

• C-MTEB/Mmarco-reranking (dev)

  指標	値
  map	31.188333827724108
  mrr	29.84801587301587

5. 検索タスク

• C-MTEB/CmedqaRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。
• C-MTEB/CovidRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。
• C-MTEB/DuRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。
• C-MTEB/EcomRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。
• C-MTEB/MMarcoRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。
• C-MTEB/MedicalRetrieval (dev) 複数の指標（map_at_1、map_at_10など）の結果が記載されています。

6. ペア分類タスク

• C-MTEB/CMNLI (validation) 複数の指標（cos_sim_accuracy、cos_sim_apなど）の結果が記載されています。