gte-smallオープンソーステキスト埋め込みモデル - 無料で文章の類似度計算やテキスト分類検索をサポート

ホーム

Gte Small

thenlperによって開発

GTE-smallは、文の類似度計算、テキスト分類、検索など、さまざまな自然言語処理タスクに適した小型の汎用テキスト埋め込みモデルです。

テキスト埋め込み英語オープンソースライセンス:MIT #文の類似度計算 #マルチタスクテキスト埋め込み #高精度分類

ダウンロード数 450.86k

リリース時間 : 7/27/2023

モデル概要

GTE-smallは、文変換器アーキテクチャに基づくテキスト埋め込みモデルで、高品質な文レベルの埋め込み表現を生成し、さまざまな下流NLPタスクをサポートします。

モデル特徴

マルチタスクサポート

分類、検索、クラスタリングなど、さまざまな自然言語処理タスクをサポートします。

効率的な性能

特にテキスト分類タスクにおいて、複数のベンチマークテストで優れた性能を発揮します。

汎用テキスト埋め込み

高品質な文レベルの埋め込み表現を生成でき、さまざまな下流アプリケーションに適用可能です。

モデル能力

文の類似度計算

テキスト分類

情報検索

テキストクラスタリング

意味的テキスト類似度評価

使用事例

電子商取引

製品レビュー分類

Amazon製品レビューの感情極性分類

AmazonPolarity分類タスクで91.8%の精度を達成

反事実的レビュー識別

Amazonプラットフォーム上の反事実的レビューを識別

AmazonCounterfactual分類タスクで73.2%の精度を達成

学術研究

論文クラスタリング

arXivとbiorxiv論文の主題クラスタリング

arXiv論文クラスタリングタスクでV-measure47.9を達成

質問応答システム

重複質問検出

AskUbuntuフォーラムの重複質問を識別

再ランキングタスクで平均精度61.7を達成

🚀 gte-small

このモデルは、様々な自然言語処理タスクにおいて高い性能を発揮することが期待されます。具体的には、分類、検索、クラスタリング、再ランキング、意味的テキスト類似度（STS）などのタスクに対応しています。

📚 詳細ドキュメント

モデル情報

属性	詳細
モデルタイプ	gte-small
タグ	mteb、sentence-similarity、sentence-transformers、Sentence Transformers

評価結果

分類タスク

データセット	タイプ	正解率	AP	F1
MTEB AmazonCounterfactualClassification (en)	mteb/amazon_counterfactual	73.22388059701493	36.09895941426988	67.3205651539195
MTEB AmazonPolarityClassification	mteb/amazon_polarity	91.81894999999999	88.5240138417305	91.80367382706962
MTEB AmazonReviewsClassification (en)	mteb/amazon_reviews_multi	48.032	-	47.4490665674719
MTEB Banking77Classification	mteb/banking77	84.0844155844156	-	84.01485017302213

検索タスク

データセット	タイプ	MAP@1	MAP@10	MAP@100	MAP@1000	MRR@1	MRR@10	MRR@100	MRR@1000	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	Precision@1	Precision@10	Precision@100	Precision@1000	Recall@1	Recall@10	Recall@100	Recall@1000	Recall@3	Recall@5
MTEB ArguAna	arguana	30.725	46.604	47.535	47.538000000000004	31.223	46.794000000000004	47.725	47.727000000000004	30.725	55.440999999999995	59.134	59.199	30.725	8.364	0.991	0.1	30.725	83.64200000000001	99.14699999999999	99.644	56.543	68.848
MTEB CQADupstackAndroidRetrieval	BeIR/cqadupstack	30.261	42.419000000000004	43.927	44.055	36.91	48.02	48.658	48.708	36.91	49.353	54.456	56.363	36.91	9.700000000000001	1.557	0.202	30.261	63.242	84.09100000000001	96.143	46.478	53.708
MTEB CQADupstackEnglishRetrieval	BeIR/cqadupstack	31.145	40.996	42.266999999999996	42.397	38.344	46.827000000000005	47.446	47.489	38.344	46.733000000000004	51.103	53.075	38.344	8.822000000000001	1.417	0.187	31.145	56.909	75.274	87.629	43.784	49.338
MTEB CQADupstackGamingRetrieval	BeIR/cqadupstack	38.83	51.553000000000004	52.581	52.638	44.513999999999996	54.998000000000005	55.650999999999996	55.679	44.513999999999996	57.67400000000001	61.663999999999994	62.743	44.513999999999996	9.423	1.2309999999999999	0.13699999999999998	38.83	72.327	89.519	97.041	57.206	63.88399999999999
MTEB CQADupstackGisRetrieval	BeIR/cqadupstack	25.484	34.527	35.661	35.739	27.458	36.543	37.482	37.543	27.458	39.396	44.742	46.708	27.458	5.976999999999999	0.907	0.11100000000000002	25.484	52.317	76.701	91.408	40.043	45.879
MTEB CQADupstackMathematicaRetrieval	BeIR/cqadupstack	16.719	25.269000000000002	26.442	26.557	20.896	29.982999999999997	30.895	30.961	20.896	30.814000000000004	36.418	39.182	20.896	5.821	0.991	0.136	16.719	43.155	67.831	87.617	29.259	35.260999999999996
MTEB CQADupstackPhysicsRetrieval	BeIR/cqadupstack	29.398999999999997	39.876	41.205999999999996	41.321999999999996	35.9	45.528	46.343	46.388	35.9	45.987	51.370000000000005	53.400000000000006	35.9	8.393	1.283	0.166	29.398999999999997	58.361	81.081	94.004	43.657000000000004	50.519999999999996
MTEB CQADupstackProgrammersRetrieval	BeIR/cqadupstack	21.589	31.	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

クラスタリングタスク

データセット	タイプ	V-measure
MTEB ArxivClusteringP2P	mteb/arxiv-clustering-p2p	47.90178078197678
MTEB ArxivClusteringS2S	mteb/arxiv-clustering-s2s	40.25728393431922
MTEB BiorxivClusteringP2P	mteb/biorxiv-clustering-p2p	38.36574769259432
MTEB BiorxivClusteringS2S	mteb/biorxiv-clustering-s2s	35.4857033165287