bilingual-embedding-baseオープンソースバイリンガルモデル - 無料で特徴抽出と文章の類似度計算を実現

ホーム

Bilingual Embedding Base

Lajavanessによって開発

sentence-transformersに基づくバイリンガルの文埋め込みモデルで、特徴抽出と文の類似度計算をサポートします。

テキスト埋め込み

Transformers

オープンソースライセンス:Apache-2.0 #バイリンガル埋め込み #教育分野のクラスタリング #フランス語の再ランキング

ダウンロード数 1,269

リリース時間 : 6/26/2024

モデル概要

このモデルは主に文の埋め込み表現を生成するために使用され、文の類似度計算、クラスタリング、検索、再ランキングなどのタスクに使用できます。

モデル特徴

バイリンガルサポート

バイリンガル処理をサポートし、異言語間の文の類似度計算を処理できます。

多機能アプリケーション

クラスタリング、検索、再ランキングなどの複数の下流タスクをサポートします。

高性能

複数の評価データセットで優れた性能を発揮し、特に再ランキングタスクで優れた結果を示します。

モデル能力

文埋め込み生成

文の類似度計算

テキストクラスタリング

情報検索

結果の再ランキング

使用事例

教育

教育コンテンツのクラスタリング

教育関連のテキストを自動的にクラスタリングします。

AlloProfClusteringP2Pデータセットでv_measureが64.71に達しました。

情報検索

法律文書の検索

法律文書の中から関連する文書を検索します。

BSARDRetrievalデータセットでmap@100が10.852に達しました。

電子商取引

商品レビューの分類

商品レビューの感情分類を行います。

AmazonReviewsClassification(fr)データセットで正解率が40.354%に達しました。

🚀 sentence-transformers

sentence-transformersは、文の類似度を計算するためのライブラリです。このライブラリは、文の埋め込みを生成し、文間の関係性を評価するのに役立ちます。

📚 詳細ドキュメント

モデル情報

属性	详情
ライブラリ名	sentence-transformers
パイプラインタグ	文の類似度
タグ	sentence-transformers、feature-extraction、sentence-similarity、transformers、sentence-embedding、mteb
モデル名	bilingual-embedding-base

評価結果

クラスタリングタスク

MTEB AlloProfClusteringP2P
- v_measure: 64.71347977413274
- v_measures: [0.6276406100583347, 0.6380984027637511, 0.6322659733117469, 0.652473343931587, 0.6411502615838207]
MTEB AlloProfClusteringS2S
- v_measure: 45.56886694296516
- v_measures: [0.4359417286866465, 0.4218168523895086, 0.419693469863105, 0.4981808644314091, 0.4546120704986696]
MTEB HALClusteringS2S
- v_measure: 25.366610995664384
- v_measures: [0.2853826102888054, 0.27554329622230517, 0.2659387504290534, 0.272421074779971, 0.23780511730712292]
MTEB MLSUMClusteringP2P
- v_measure: 44.22735442638259
- v_measures: [0.446401643334608, 0.45940182243882194, 0.4535014442023603, 0.4315840671354274, 0.40219963696623473]
MTEB MLSUMClusteringS2S
- v_measure: 44.57521454657146
- v_measures: [0.4501823523199927, 0.45800459800343646, 0.4535621236055794, 0.4353844290212204, 0.40539074932285035]
MTEB MasakhaNEWSClusteringP2P (fra)
- v_measure: 61.57579457743856
- v_measures: [1.0, 0.19333147584460073, 0.1918473189330316, 0.9180419176341081, 0.7755690164601873]
MTEB MasakhaNEWSClusteringS2S (fra)
- v_measure: 46.09882977546196
- v_measures: [1.0, 0.0, 0.4881603944307428, 0.1341399033659235, 0.6826411909764316]

再ランキングタスク

MTEB AlloprofReranking
- map: 70.45979049191963
- mrr: 71.61250582558874
- その他の指標: 多数のnAUC関連の指標があります。

検索タスク

MTEB AlloprofRetrieval
- map_at_1: 24.956999999999997
- map_at_10: 35.519
- その他の指標: 多数のmap、mrr、nauc、ndcg、precision、recall関連の指標があります。
MTEB BSARDRetrieval
- map_at_1: 5.405
- map_at_10: 9.715
- その他の指標: 多数の指標があります。
MTEB MintakaRetrieval (fr)
- map_at_1: 15.643
- map_at_10: 23.263
- その他の指標: 多数の指標があります。

分類タスク

MTEB AmazonReviewsClassification (fr)
- accuracy: 40.354
- f1: 38.96127209677864
- f1_weighted: 38.96127209677863
MTEB MTOPDomainClassification (fr)
- accuracy: 86.82743501409333
- f1: 87.07777165714171
- f1_weighted: 86.70555382175719
MTEB MTOPIntentClassification (fr)
- accuracy: 59.129345443156886
- f1: 40.374753319633946
- f1_weighted: 61.735222244513906
MTEB MassiveIntentClassification (fr)
- accuracy: 64.98655010087424
- f1: 62.07892690857404
- f1_weighted: 64.04916798028313
MTEB MassiveScenarioClassification (fr)
- accuracy: 71.72494956287828
- f1: 70.7613627592262
- f1_weighted: 71.59023734198762