gte-largeオープンソース文変換モデル - 無料で使用可能、文の類似度とテキスト埋め込みを高精度で処理

ホーム

Gte Large

thenlperによって開発

GTE-Largeは強力なセンテンストランスフォーマーモデルで、文の類似度とテキスト埋め込みタスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。

テキスト埋め込み英語オープンソースライセンス:MIT #マルチタスクテキスト埋め込み #高精度セマンティック類似度 #クロスドメイン分類

ダウンロード数 1.5M

リリース時間 : 7/27/2023

モデル概要

GTE-Largeは汎用的なテキスト埋め込みモデルで、文を高次元ベクトル表現に変換し、類似度計算、分類、クラスタリング、情報検索などのタスクに使用できます。

モデル特徴

優れたマルチタスク性能

分類、検索、クラスタリングなど様々なNLPタスクでバランスの取れた性能を発揮

高品質な文埋め込み

生成される文埋め込みは意味情報を効果的に捕捉

広範なベンチマーク検証

MTEBなど複数のベンチマークテストセットで包括的な評価を実施

モデル能力

文の類似度計算

テキスト分類

情報検索

テキストクラスタリング

文のベクトル化

使用事例

電子商取引

製品レビューの感情分析

Amazon製品レビューの感情傾向を分析

AmazonPolarityデータセットで92.5%の精度を達成

反事実的レビュー検出

Amazon上の反事実的レビューを識別

AmazonCounterfactualデータセットで72.6%の精度を達成

学術研究

論文クラスタリング

arXivとbiorxiv論文のトピッククラスタリング

arXiv P2PクラスタリングタスクでV-measure48.6を達成

カスタマーサービス

銀行問題分類

銀行顧客の問題を自動分類

Banking77データセットで86.1%の精度を達成

🚀 gte-large

このモデルは、様々な自然言語処理タスクにおいて優れた性能を発揮するモデルです。分類、検索、クラスタリングなどのタスクに適用でき、MTEBベンチマークでの評価結果が提供されています。

📚 詳細ドキュメント

モデルのタスクと評価結果

| タスクタイプ | データセット名 | 精度 (Accuracy) | 平均適合率 (AP) | F1値 (F1) | MAP@1 | MAP@10 | MAP@100 | MAP@1000 | MRR@1 | MRR@10 | MRR@100 | MRR@1000 | NDCG@1 | NDCG@10 | NDCG@100 | NDCG@1000 | Precision@1 | Precision@10 | Precision@100 | Precision@1000 | Recall@1 | Recall@10 | Recall@100 | Recall@1000 | V-measure | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | Classification | MTEB AmazonCounterfactualClassification (en) | 72.62686567164178 | 34.46944126809772 | 66.23684353950857 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Classification | MTEB AmazonPolarityClassification | 92.51805 | 89.49842783330848 | 92.51112169431808 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Classification | MTEB AmazonReviewsClassification (en) | 49.074 | - | 48.44785682572955 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Retrieval | MTEB ArguAna | - | - | - | 32.077 | 48.153 | 48.963 | 48.966 | 33.073 | 48.54 | 49.335 | 49.338 | 32.077 | 57.158 | 60.324999999999996 | 60.402 | 32.077 | 8.591999999999999 | 0.991 | 0.1 | 32.077 | 85.917 | 99.075 | 99.644 | - | | Clustering | MTEB ArxivClusteringP2P | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 48.619246083417295 | | Clustering | MTEB ArxivClusteringS2S | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 43.3574067664688 | | Reranking | MTEB AskUbuntuDupQuestions | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 63.06359661829253 | 76.15596007562766 | | STS | MTEB BIOSSES | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 90.25407547368691 | 88.65081514968477 | 88.14857116664494 | 88.50683596540692 | 87.9654797992225 | 88.21164851646908 | | Classification | MTEB Banking77Classification | 86.05844155844157 | - | 86.01555597681825 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Clustering | MTEB BiorxivClusteringP2P | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 39.10510519739522 | | Clustering | MTEB BiorxivClusteringS2S | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 36.84689960264385 | | Retrieval | MTEB CQADupstackAndroidRetrieval | - | - | - | 32.800000000000004 | 44.857 | 46.512 | 46.635 | 39.628 | 50.879 | 51.605000000000004 | 51.641000000000005 | 39.628 | 51.819 | 57.318999999999996 | 58.955999999999996 | 39.628 | 10.072000000000001 | 1.625 | 0.21 | 32.800000000000004 | 65.078 | 87.491 | 97.514 | - | | Retrieval | MTEB CQADupstackEnglishRetrieval | - | - | - | 32.614 | 43.578 | 44.897 | 45.023 | 40.510000000000005 | 49.428 | 50.068999999999996 | 50.111000000000004 | 40.510000000000005 | 49.478 | 53.852 | 55.782 | 40.510000000000005 | 9.363000000000001 | 1.51 | 0.196 | 32.614 | 59.782000000000004 | 78.012 | 90.319 | - | | Retrieval | MTEB CQADupstackGamingRetrieval | - | - | - | 40.266000000000005 | 53.756 | 54.809 | 54.855 | 46.332 | 57.116 | 57.767 | 57.791000000000004 | 46.332 | 60.092 | 64.034 | 64.937 | 46.332 | 9.799 | 1.278 | 0.13899999999999998 | 40.266000000000005 | 75.41499999999999 | 92.01700000000001 | 98.379 | - | | Retrieval | MTEB CQADupstackGisRetrieval | - | - | - | 28.589 | 37.755 | 38.881 | 38.954 | 30.734 | 39.742 | 40.774 | 40.824 | 30.734 | 42.978 | 48.309000000000005 | 50.068 | 30.734 | 6.565 | 0.964 | 0.11499999999999999 | 28.589 | 57.126999999999995 | 81.051 | 94.027 | - | | Retrieval | MTEB CQADupstackMathematicaRetrieval | - | - | - | 18.5 | 27.950999999999997 | 29.186 | 29.298000000000002 | 22.637 | 32.572 | 33.472 | 33.533 | 22.637 | 33.73 | 39.568 | 42.201 | 22.637 | 6.281000000000001 | 1.073 | 0.14300000000000002 | 18.5 | 46.744 | 72.072 | 91.03999999999999 | - | | Retrieval | MTEB CQADupstackPhysicsRetrieval | - | - | - | 30.602 | 42.18 | 43.6 | 43.704 | 37.344 | 47.638000000000005 | 48.485 | 48.52 | 37.344 | 48.632 | 54.215 | 55.981 | 37.344 | 8.932 | 1.376 | 0.17099999999999999 | 30.602 | 62.273 | 85.12100000000001 | 96.439 | - | | Retrieval | MTEB CQADupstackProgrammersRetrieval | - | - | - | 23.952 | 35.177 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |