gte-largeオープンソース文変換モデル - 無料で使用可能、文の類似度とテキスト埋め込みを高精度で処理

Home

Gte Large

Developed by thenlper

GTE-Largeは強力なセンテンストランスフォーマーモデルで、文の類似度とテキスト埋め込みタスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。

テキスト埋め込み EnglishOpen Source License:MIT #マルチタスクテキスト埋め込み #高精度セマンティック類似度 #クロスドメイン分類

Downloads 1.5M

Release Time : 7/27/2023

Model Overview

GTE-Largeは汎用的なテキスト埋め込みモデルで、文を高次元ベクトル表現に変換し、類似度計算、分類、クラスタリング、情報検索などのタスクに使用できます。

Model Features

優れたマルチタスク性能

分類、検索、クラスタリングなど様々なNLPタスクでバランスの取れた性能を発揮

高品質な文埋め込み

生成される文埋め込みは意味情報を効果的に捕捉

広範なベンチマーク検証

MTEBなど複数のベンチマークテストセットで包括的な評価を実施

Model Capabilities

文の類似度計算

テキスト分類

情報検索

テキストクラスタリング

文のベクトル化

Use Cases

電子商取引

製品レビューの感情分析

Amazon製品レビューの感情傾向を分析

AmazonPolarityデータセットで92.5%の精度を達成

反事実的レビュー検出

Amazon上の反事実的レビューを識別

AmazonCounterfactualデータセットで72.6%の精度を達成

学術研究

論文クラスタリング

arXivとbiorxiv論文のトピッククラスタリング

arXiv P2PクラスタリングタスクでV-measure48.6を達成

カスタマーサービス

銀行問題分類

銀行顧客の問題を自動分類

Banking77データセットで86.1%の精度を達成

🚀 gte-large

このモデルは、様々な自然言語処理タスクにおいて優れた性能を発揮するモデルです。分類、検索、クラスタリングなどのタスクに適用でき、MTEBベンチマークでの評価結果が提供されています。

📚 詳細ドキュメント

モデルのタスクと評価結果

| タスクタイプ | データセット名 | 精度 (Accuracy) | 平均適合率 (AP) | F1値 (F1) | MAP@1 | MAP@10 | MAP@100 | MAP@1000 | MRR@1 | MRR@10 | MRR@100 | MRR@1000 | NDCG@1 | NDCG@10 | NDCG@100 | NDCG@1000 | Precision@1 | Precision@10 | Precision@100 | Precision@1000 | Recall@1 | Recall@10 | Recall@100 | Recall@1000 | V-measure | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | Classification | MTEB AmazonCounterfactualClassification (en) | 72.62686567164178 | 34.46944126809772 | 66.23684353950857 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Classification | MTEB AmazonPolarityClassification | 92.51805 | 89.49842783330848 | 92.51112169431808 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Classification | MTEB AmazonReviewsClassification (en) | 49.074 | - | 48.44785682572955 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Retrieval | MTEB ArguAna | - | - | - | 32.077 | 48.153 | 48.963 | 48.966 | 33.073 | 48.54 | 49.335 | 49.338 | 32.077 | 57.158 | 60.324999999999996 | 60.402 | 32.077 | 8.591999999999999 | 0.991 | 0.1 | 32.077 | 85.917 | 99.075 | 99.644 | - | | Clustering | MTEB ArxivClusteringP2P | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 48.619246083417295 | | Clustering | MTEB ArxivClusteringS2S | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 43.3574067664688 | | Reranking | MTEB AskUbuntuDupQuestions | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 63.06359661829253 | 76.15596007562766 | | STS | MTEB BIOSSES | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 90.25407547368691 | 88.65081514968477 | 88.14857116664494 | 88.50683596540692 | 87.9654797992225 | 88.21164851646908 | | Classification | MTEB Banking77Classification | 86.05844155844157 | - | 86.01555597681825 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | Clustering | MTEB BiorxivClusteringP2P | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 39.10510519739522 | | Clustering | MTEB BiorxivClusteringS2S | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 36.84689960264385 | | Retrieval | MTEB CQADupstackAndroidRetrieval | - | - | - | 32.800000000000004 | 44.857 | 46.512 | 46.635 | 39.628 | 50.879 | 51.605000000000004 | 51.641000000000005 | 39.628 | 51.819 | 57.318999999999996 | 58.955999999999996 | 39.628 | 10.072000000000001 | 1.625 | 0.21 | 32.800000000000004 | 65.078 | 87.491 | 97.514 | - | | Retrieval | MTEB CQADupstackEnglishRetrieval | - | - | - | 32.614 | 43.578 | 44.897 | 45.023 | 40.510000000000005 | 49.428 | 50.068999999999996 | 50.111000000000004 | 40.510000000000005 | 49.478 | 53.852 | 55.782 | 40.510000000000005 | 9.363000000000001 | 1.51 | 0.196 | 32.614 | 59.782000000000004 | 78.012 | 90.319 | - | | Retrieval | MTEB CQADupstackGamingRetrieval | - | - | - | 40.266000000000005 | 53.756 | 54.809 | 54.855 | 46.332 | 57.116 | 57.767 | 57.791000000000004 | 46.332 | 60.092 | 64.034 | 64.937 | 46.332 | 9.799 | 1.278 | 0.13899999999999998 | 40.266000000000005 | 75.41499999999999 | 92.01700000000001 | 98.379 | - | | Retrieval | MTEB CQADupstackGisRetrieval | - | - | - | 28.589 | 37.755 | 38.881 | 38.954 | 30.734 | 39.742 | 40.774 | 40.824 | 30.734 | 42.978 | 48.309000000000005 | 50.068 | 30.734 | 6.565 | 0.964 | 0.11499999999999999 | 28.589 | 57.126999999999995 | 81.051 | 94.027 | - | | Retrieval | MTEB CQADupstackMathematicaRetrieval | - | - | - | 18.5 | 27.950999999999997 | 29.186 | 29.298000000000002 | 22.637 | 32.572 | 33.472 | 33.533 | 22.637 | 33.73 | 39.568 | 42.201 | 22.637 | 6.281000000000001 | 1.073 | 0.14300000000000002 | 18.5 | 46.744 | 72.072 | 91.03999999999999 | - | | Retrieval | MTEB CQADupstackPhysicsRetrieval | - | - | - | 30.602 | 42.18 | 43.6 | 43.704 | 37.344 | 47.638000000000005 | 48.485 | 48.52 | 37.344 | 48.632 | 54.215 | 55.981 | 37.344 | 8.932 | 1.376 | 0.17099999999999999 | 30.602 | 62.273 | 85.12100000000001 | 96.439 | - | | Retrieval | MTEB CQADupstackProgrammersRetrieval | - | - | - | 23.952 | 35.177 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |