SGPT-1.3Bオープンソース文変換器モデル - 文の類似度と特徴抽出を無料で実現

ホーム

SGPT 1.3B Weightedmean Msmarco Specb Bitfit

Muennighoffによって開発

SGPT-1.3Bは加重平均とbitfit技術に基づいて最適化された文変換器モデルで、主に文の類似度と特徴抽出タスクに使用されます。

テキスト埋め込み

PyTorch

#文の類似度計算 #マルチタスクテキスト埋め込み #検索強化生成

ダウンロード数 87

リリース時間 : 3/2/2022

モデル概要

このモデルは13億パラメータの文変換器で、加重平均とbitfit技術によって最適化され、複数のテキスト類似度と分類タスクで良好な性能を発揮します。

モデル特徴

加重平均技術

加重平均法を使用して文の表現を最適化し、意味理解能力を向上させます。

bitfit最適化

bitfit技術を採用してモデルを微調整し、性能を向上させながら効率を維持します。

マルチタスクサポート

分類、クラスタリング、検索などのさまざまな自然言語処理タスクをサポートします。

モデル能力

文の類似度計算

テキスト特徴抽出

テキスト分類

情報検索

テキストクラスタリング

質問応答システムサポート

使用事例

電子商取引

商品レビュー分類

Amazonの商品レビューに対して感情極性分類を行います。

MTEB Amazon極性分類タスクで73.21%の正解率を達成しました。

反事実分析

Amazonの商品レビューから反事実陳述を識別します。

MTEB Amazon反事実分類タスクで65.21%の正解率を達成しました。

学術研究

論文クラスタリング

arXivの学術論文に対してトピッククラスタリングを行います。

MTEB ArxivクラスタリングP2PタスクでVメトリックが43.38に達しました。

技術サポート

質問応答検索

技術フォーラムで関連する質問を検索します。

MTEB CQADupstack検索タスクで平均精度@10が28.48に達しました。

🚀 SGPT-1.3B-weightedmean-msmarco-specb-bitfit

このモデルは、文章の特徴抽出や文章の類似度計算などのタスクに使用されます。MTEB（Massive Text Embedding Benchmark）の複数のデータセットで評価されており、分類、検索、クラスタリングなどの様々なタスクでの性能を示しています。

📚 ドキュメント

モデルの評価結果

分類タスク

データセット名	正解率 (Accuracy)	平均適合率 (AP)	F1スコア (F1)
MTEB AmazonCounterfactualClassification (en)	65.20895522388061	29.59212705444778	59.97099864321921
MTEB AmazonPolarityClassification	73.20565	67.36680643550963	72.90420520325125
MTEB AmazonReviewsClassification (en)	34.955999999999996	-	34.719324437696955
MTEB Banking77Classification	82.05844155844156	-	82.0185837884764

検索タスク

データセット名	MAP@1	MAP@10	MAP@100	MAP@1000	MRR@1	MRR@10	MRR@100	MRR@1000	NDCG@1	NDCG@10	NDCG@100	NDCG@1000	Precision@1	Precision@10	Precision@100	Precision@1000	Recall@1	Recall@10	Recall@100	Recall@1000	Recall@3	Recall@5
MTEB ArguAna	26.101999999999997	40.958	42.033	42.042	26.387	41.051	42.118	42.126999999999995	26.101999999999997	49.68	54.257999999999996	54.486000000000004	26.101999999999997	7.781000000000001	0.979	0.1	26.101999999999997	77.809	97.866	99.644	50.141999999999996	60.171
MTEB CQADupstackAndroidRetrieval	26.519	35.634	36.961	37.088	32.332	41.168	41.977	42.028999999999996	32.332	41.471000000000004	46.955999999999996	49.262	32.332	7.7829999999999995	1.29	0.178	26.519	53.190000000000005	76.56500000000001	91.47800000000001	38.034	45.245999999999995
MTEB CQADupstackEnglishRetrieval	25.356	34.596	35.714	35.839999999999996	31.274	39.592	40.284	40.339999999999996	31.274	39.766	44.028	46.445	31.274	7.452	1.217	0.16999999999999998	25.356	49.344	67.497	83.372	38.227	43.187999999999995
MTEB CQADupstackGamingRetrieval	32.759	43.937	45.004	45.07	37.367	47.237	47.973	48.010999999999996	37.367	49.659	54.069	55.552	37.367	8.163	1.133	0.131	32.759	63.341	82.502	93.259	48.796	54.921
MTEB CQADupstackGisRetrieval	18.962	25.863000000000003	26.817999999999998	26.918	20.452	27.301	28.233000000000004	28.310000000000002	20.452	30.354999999999997	35.336	37.927	20.452	4.949	0.7799999999999999	0.104	18.962	43.056	66.27300000000001	85.96000000000001	27.776	34.287
MTEB CQADupstackMathematicaRetrieval	11.24	18.503	19.553	19.689999999999998	13.806	21.939	22.827	22.911	13.806	23.383000000000003	28.834	32.175	13.806	4.714	0.864	0.13	11.24	34.854	59.50299999999999	83.25	22.02	26.715
MTEB CQADupstackPhysicsRetrieval	23.012	33.048	34.371	34.489	28.104000000000003	37.99	38.836	38.891	28.104000000000003	39.037	44.643	46.939	28.104000000000003	7.2669999999999995	1.193	0.159	23.012	52.054	75.622	90.675	37.282	43.307
MTEB CQADupstackProgrammersRetrieval	21.624	30.209999999999997	31.52	31.625999999999998	26.941	35.13	36.15	36.204	26.941	35.726	41.725	44.105	26.941	6.654999999999999	1.1520000000000001	0.152	21.624	47.359	73.436	89.988	32.34	39.856
MTEB CQADupstackRetrieval	20.67566666666667	28.479333333333333	29.612249999999996	29.731166666666663	24.402583333333332	32.07041666666667	32.95841666666667	33.025416666666665	24.402583333333332	33.326166666666666	38.51566666666667	41.13791666666667	24.402583333333332	5.943749999999999	1.0098333333333334	0.14183333333333334	20.67566666666667	44.245583333333336	67.31116666666667	85.87841666666665	31.49258333333333	36.93241666666667
MTEB CQADupstackStatsRetrieval	18.34	23.988	24.895	24.992	20.399	26.186	27.017999999999997	27.090999999999998	20.399	27.799000000000003	32.579	35.209	20.399	4.585999999999999	0.755	0.105	18.34	37.456	...	...	...	...

クラスタリングタスク

データセット名	V-measure
MTEB ArxivClusteringP2P	43.384194916953774
MTEB ArxivClusteringS2S	33.70962633433912
MTEB BiorxivClusteringP2P	35.05918333141837
MTEB BiorxivClusteringS2S	30.71055028830579