bilingual-embedding-base開源雙語模型 - 免費實現特徵提取和句子相似度計算

首頁

Bilingual Embedding Base

由Lajavaness開發

一個基於sentence-transformers的雙語句子嵌入模型，支持特徵提取和句子相似度計算

文本嵌入

Transformers

開源協議:Apache-2.0 #雙語嵌入 #教育領域聚類 #法語重排序

下載量 1,269

發布時間 : 6/26/2024

模型概述

該模型主要用於生成句子的嵌入表示，可用於計算句子相似度、聚類、檢索和重排序等任務

模型特點

雙語支持

支持雙語處理，能夠處理跨語言的句子相似度計算

多功能應用

支持多種下游任務，包括聚類、檢索和重排序

高性能

在多個評估數據集上表現出色，特別是在重排序任務上表現優異

模型能力

句子嵌入生成

句子相似度計算

文本聚類

信息檢索

結果重排序

使用案例

教育

教育內容聚類

對教育相關文本進行自動聚類

在AlloProfClusteringP2P數據集上v_measure達到64.71

信息檢索

法律文檔檢索

在法律文檔中進行相關文檔檢索

在BSARDRetrieval數據集上map@100達到10.852

電子商務

商品評論分類

對商品評論進行情感分類

在AmazonReviewsClassification(fr)數據集上準確率達到40.354%

庫名稱：sentence-transformers
流水線標籤：句子相似度
標籤：

sentence-transformers
特徵提取
句子相似度
transformers
句子嵌入
mteb

模型索引：

名稱：bilingual-embedding-base
結果：
- 任務：
  類型：聚類
  數據集：
  類型：lyon-nlp/alloprof
  名稱：MTEB AlloProfClusteringP2P
  配置：默認
  拆分：測試
  修訂版本：392ba3f5bcc8c51f578786c1fc3dae648662cb9b
  指標：
  - 類型：v_measure
    值：64.71347977413274
  - 類型：v_measures
    值：[0.6276406100583347, 0.6380984027637511, 0.6322659733117469, 0.652473343931587, 0.6411502615838207]
- 任務：
  類型：聚類
  數據集：
  類型：lyon-nlp/alloprof
  名稱：MTEB AlloProfClusteringS2S
  配置：默認
  拆分：測試
  修訂版本：392ba3f5bcc8c51f578786c1fc3dae648662cb9b
  指標：
  - 類型：v_measure
    值：45.56886694296516
  - 類型：v_measures
    值：[0.4359417286866465, 0.4218168523895086, 0.419693469863105, 0.4981808644314091, 0.4546120704986696]
- 任務：
  類型：重排序
  數據集：
  類型：lyon-nlp/mteb-fr-reranking-alloprof-s2p
  名稱：MTEB AlloprofReranking
  配置：默認
  拆分：測試
  修訂版本：65393d0d7a08a10b4e348135e824f385d420b0fd
  指標：
  - 類型：map
    值：70.45979049191963
  - 類型：mrr
    值：71.61250582558874
  - 類型：nAUC_map_diff1
    值：53.81172404763562
  - 類型：nAUC_map_max
    值：11.344605627946006
  - 類型：nAUC_mrr_diff1
    值：53.73572411920392
  - 類型：nAUC_mrr_max
    值：11.900785644756448
- 任務：
  類型：檢索
  數據集：
  類型：lyon-nlp/alloprof
  名稱：MTEB AlloprofRetrieval
  配置：默認
  拆分：測試
  修訂版本：fcf295ea64c750f41fadbaa37b9b861558e1bfbd
  指標：
  - 類型：map_at_1
    值：24.956999999999997
  - 類型：map_at_10
    值：35.519
  - 類型：map_at_100
    值：36.602000000000004
  - 類型：map_at_1000
    值：36.667
  - 類型：map_at_20
    值：36.199
  - 類型：map_at_3
    值：32.397999999999996
  - 類型：map_at_5
    值：34.121
  - 類型：mrr_at_1
    值：24.956822107081177
  - 類型：mrr_at_10
    值：35.5187515420676
  - 類型：mrr_at_100
    值：36.60233410773095
  - 類型：mrr_at_1000
    值：36.6673425266803
  - 類型：mrr_at_20
    值：36.19886807640962
  - 類型：mrr_at_3
    值：32.39781232009212
  - 類型：mrr_at_5
    值：34.120610247553294
  - 類型：nauc_map_at_1000_diff1
    值：35.47549954610535
  - 類型：nauc_map_at_1000_max
    值：32.90078190148035
  - 類型：nauc_map_at_100_diff1
    值：35.450977423889455
  - 類型：nauc_map_at_100_max
    值：32.94163322687819
  - 類型：nauc_map_at_10_diff1
    值：35.33565787959566
  - 類型：nauc_map_at_10_max
    值：32.64293321320758
  - 類型：nauc_map_at_1_diff1
    值：41.36063963274824
  - 類型：nauc_map_at_1_max
    值：29.231198539339754
  - 類型：nauc_map_at_20_diff1
    值：35.43536321023612
  - 類型：nauc_map_at_20_max
    值：32.88345868813372
  - 類型：nauc_map_at_3_diff1
    值：35.686505961183194
  - 類型：nauc_map_at_3_max
    值：32.00806639149525
  - 類型：nauc_map_at_5_diff1
    值：35.34083004527267
  - 類型：nauc_map_at_5_max
    值：32.34459863266794
  - 類型：nauc_mrr_at_1000_diff1
    值：35.47549954610535
  - 類型：nauc_mrr_at_1000_max
    值：32.90078190148035
  - 類型：nauc_mrr_at_100_diff1
    值：35.450977423889455
  - 類型：nauc_mrr_at_100_max
    值：32.94163322687819
  - 類型：nauc_mrr_at_10_diff1
    值：35.33565787959566
  - 類型：nauc_mrr_at_10_max
    值：32.64293321320758
  - 類型：nauc_mrr_at_1_diff1
    值：41.36063963274824
  - 類型：nauc_mrr_at_1_max
    值：29.231198539339754
  - 類型：nauc_mrr_at_20_diff1
    值：35.43536321023612
  - 類型：nauc_mrr_at_20_max
    值：32.88345868813372
  - 類型：nauc_mrr_at_3_diff1
    值：35.686505961183194
  - 類型：nauc_mrr_at_3_max
    值：32.00806639149525
  - 類型：nauc_mrr_at_5_diff1
    值：35.34083004527267
  - 類型：nauc_mrr_at_5_max
    值：32.34459863266794
  - 類型：nauc_ndcg_at_1000_diff1
    值：34.4325639393338
  - 類型：nauc_ndcg_at_1000_max
    值：34.44147157978809
  - 類型：nauc_ndcg_at_100_diff1
    值：33.88653913244061
  - 類型：nauc_ndcg_at_100_max
    值：35.59739772150559
  - 類型：nauc_ndcg_at_10_diff1
    值：33.51057326557921
  - 類型：nauc_ndcg_at_10_max
    值：34.18300339583124
  - 類型：nauc_ndcg_at_1_diff1
    值：41.36063963274824
  - 類型：nauc_ndcg_at_1_max
    值：29.231198539339754
  - 類型：nauc_ndcg_at_20_diff1
    值：33.804940889687714
  - 類型：nauc_ndcg_at_20_max
    值：35.13066047975507
  - 類型：nauc_ndcg_at_3_diff1
    值：34.167179830350406
  - 類型：nauc_ndcg_at_3_max
    值：32.94370726673571
  - 類型：nauc_ndcg_at_5_diff1
    值：33.52138730976869
  - 類型：nauc_ndcg_at_5_max
    值：33.48723912009657
  - 類型：nauc_precision_at_1000_diff1
    值：22.67827963096167
  - 類型：nauc_precision_at_1000_max
    值：67.17958434804059
  - 類型：nauc_precision_at_100_diff1
    值：24.83989747177019
  - 類型：nauc_precision_at_100_max
    值：56.86858468981111
  - 類型：nauc_precision_at_10_diff1
    值：27.973507280697774
  - 類型：nauc_precision_at_10_max
    值：39.14247264250278
  - 類型：nauc_precision_at_1_diff1
    值：41.36063963274824
  - 類型：nauc_precision_at_1_max
    值：29.231198539339754
  - 類型：nauc_precision_at_20_diff1
    值：28.244479044808852
  - 類型：nauc_precision_at_20_max
    值：44.5538108461975
  - 類型：nauc_precision_at_3_diff1
    值：30.09786756288918
  - 類型：nauc_precision_at_3_max
    值：35.51252285506707
  - 類型：nauc_precision_at_5_diff1
    值：28.444019525872083
  - 類型：nauc_precision_at_5_max
    值：36.71010320598834
  - 類型：nauc_recall_at_1000_diff1
    值：22.67827963096142
  - 類型：nauc_recall_at_1000_max
    值：67.17958434804105
  - 類型：nauc_recall_at_100_diff1
    值：24.83989747177035
  - 類型：nauc_recall_at_100_max
    值：56.868584689811186
  - 類型：nauc_recall_at_10_diff1
    值：27.973507280697774
  - 類型：nauc_recall_at_10_max
    值：39.14247264250283
  - 類型：nauc_recall_at_1_diff1
    值：41.36063963274824
  - 類型：nauc_recall_at_1_max
    值：29.231198539339754
  - 類型：nauc_recall_at_20_diff1
    值：28.244479044808823
  - 類型：nauc_recall_at_20_max
    值：44.553810846197486
  - 類型：nauc_recall_at_3_diff1
    值：30.097867562889213
  - 類型：nauc_recall_at_3_max
    值：35.51252285506708
  - 類型：nauc_recall_at_5_diff1
    值：28.444019525872054
  - 類型：nauc_recall_at_5_max
    值：36.71010320598833
  - 類型：ndcg_at_1
    值：24.956999999999997
  - 類型：ndcg_at_10
    值：41.260999999999996
  - 類型：ndcg_at_100
    值：46.628
  - 類型：ndcg_at_1000
    值：48.339999999999996
  - 類型：ndcg_at_20
    值：43.71
  - 類型：ndcg_at_3
    值：34.771
  - 類型：ndcg_at_5
    值：37.862
  - 類型：precision_at_1
    值：24.956999999999997
  - 類型：precision_at_10
    值：5.963
  - 類型：precision_at_100
    值：0.8500000000000001
  - 類型：precision_at_1000
    值：0.098
  - 類型：precision_at_20
    值：3.463
  - 類型：precision_at_3
    值：13.874
  - 類型：precision_at_5
    值：9.818999999999999
  - 類型：recall_at_1
    值：24.956999999999997
  - 類型：recall_at_10
    值：59.629
  - 類型：recall_at_100
    值：84.974
  - 類型：recall_at_1000
    值：98.402
  - 類型：recall_at_20
    值：69.257
  - 類型：recall_at_3
    值：41.623
  - 類型：recall_at_5
    值：49.092999999999996
- 任務：
  類型：分類
  數據集：
  類型：mteb/amazon_reviews_multi
  名稱：MTEB AmazonReviewsClassification (fr)
  配置：fr
  拆分：測試
  修訂版本：1399c76144fd37290681b995c656ef9b2e06e26d
  指標：
  - 類型：accuracy
    值：40.354
  - 類型：f1
    值：38.96127209677864
  - 類型：f1_weighted
    值：38.96127209677863
- 任務：
  類型：檢索
  數據集：
  類型：maastrichtlawtech/bsard
  名稱：MTEB BSARDRetrieval
  配置：默認
  拆分：測試
  修訂版本：5effa1b9b5fa3b0f9e12523e6e43e5f86a6e6d59
  指標：
  - 類型：map_at_1
    值：5.405
  - 類型：map_at_10
    值：9.715
  - 類型：map_at_100
    值：10.852
  - 類型：map_at_1000
    值：10.986
  - 類型：map_at_20
    值：10.324
  - 類型：map_at_3
    值：8.183
  - 類型：map_at_5
    值：9.129
  - 類型：mrr_at_1
    值：5.405405405405405
  - 類型：mrr_at_10
    值：9.715250965250963
  - 類型：mrr_at_100
    值：10.852488713991455
  - 類型：mrr_at_1000
    值：10.986128810251913
  - 類型：mrr_at_20
    值：10.324372731493472
  - 類型：mrr_at_3
    值：8.183183183183184
  - 類型：mrr_at_5
    值：9.12912912912913
  - 類型：nauc_map_at_1000_diff1
    值：27.989147369852507
  - 類型：nauc_map_at_1000_max
    值：13.956676274011212
  - 類型：nauc_map_at_100_diff1
    值：27.97931691839789
  - 類型：nauc_map_at_100_max
    值：13.885054931557967
  - 類型：nauc_map_at_10_diff1
    值：28.39484917161119
  - 類型：nauc_map_at_10_max
    值：12.859153645903026
  - 類型：nauc_map_at_1_diff1
    值：40.37326707123
  - 類型：nauc_map_at_1_max
    值：19.53225223707901
  - 類型：nauc_map_at_20_diff1