Instructor-baseオープンソーステキスト埋め込みモデル - 文章の類似度を正確に計算し、テキスト検索を効率的に完了

ホーム

Instructor Base

hkunlpによって開発

T5アーキテクチャに基づくテキスト埋め込みモデルで、文の類似性計算とテキスト検索タスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。

テキスト埋め込み

Transformers

英語オープンソースライセンス:Apache-2.0 #テキスト意味的類似性 #マルチタスクテキスト埋め込み #英語情報検索

ダウンロード数 13.22k

リリース時間 : 12/20/2022

モデル概要

このモデルはT5アーキテクチャに基づくテキスト埋め込みモデルで、高品質な文埋め込みベクトルの生成を主な目的としており、情報検索、テキスト分類、クラスタリング、意味的類似性計算など、さまざまな自然言語処理タスクをサポートします。

モデル特徴

優れたマルチタスク性能

MTEBベンチマークテストの複数のタスク（分類、クラスタリング、検索タスクなど）で優れた性能を発揮

効率的なテキスト埋め込み

大規模な情報検索シナリオに適した高品質な文埋め込みベクトルを生成可能

幅広い適用性

類似性計算、分類、クラスタリングなど、さまざまな下流NLPタスクをサポート

モデル能力

文の類似性計算

テキスト埋め込み生成

情報検索

テキスト分類

テキストクラスタリング

意味的検索

テキスト再ランキング

使用事例

電子商取引

製品レビュー分類

Amazon製品レビューの感情分析分類

AmazonPolarity分類タスクで88.36%の精度を達成

反事実検出

Amazon製品レビュー中の反事実的記述を識別

AmazonCounterfactual分類タスクで86.21%の精度を達成

金融

銀行カスタマーサポート分類

銀行の顧客問い合わせを分類

Banking77分類タスクで77.04%の精度を達成

学術研究

論文クラスタリング

arXivとbiorxivの論文を主題別にクラスタリング

ArxivClusteringP2Pタスクで39.68 v_measureスコアを達成

🚀 文章の類似度判定モデル

このモデルは文章の類似度判定や、文章の埋め込み、情報検索などのタスクに特化しており、様々なデータセットでの評価結果が提供されています。

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

📚 詳細ドキュメント

モデルのタグ情報

属性	詳情
パイプラインタグ	文章の類似度判定
タグ	テキスト埋め込み、埋め込み、情報検索、BEIR、テキスト分類、言語モデル、テキストクラスタリング、テキストの意味的類似度、テキスト評価、プロンプト検索、テキストの再ランキング、Sentence Transformers、特徴抽出、文章の類似度、Transformers、T5、英語、文章の類似度、Natural Questions、MS MARCO、FEVER、Hotpot QA、MTEB
言語	英語
推論	無効

モデルの評価結果

モデル名: final_base_results

以下に、様々なタスクとデータセットでの評価結果を示します。

分類タスク

データセット: MTEB AmazonCounterfactualClassification (en)
- 正解率 (accuracy): 86.2089552238806
- 平均適合率 (ap): 55.76273850794966
- F1スコア (f1): 81.26104211414781
データセット: MTEB AmazonPolarityClassification
- 正解率 (accuracy): 88.35995000000001
- 平均適合率 (ap): 84.18839957309655
- F1スコア (f1): 88.317619250081
データセット: MTEB AmazonReviewsMulti (en)
- 正解率 (accuracy): 44.64
- F1スコア (f1): 42.48663956478136
データセット: MTEB Banking77Classification
- 正解率 (accuracy): 77.03571428571428
- F1スコア (f1): 75.87384305045917

検索タスク

データセット: MTEB ArguAna
- MAP@1: 27.383000000000003
- MAP@10: 43.024
- MAP@100: 44.023
- MAP@1000: 44.025999999999996
- MRR@1: 28.094
- MRR@10: 43.315
- MRR@100: 44.313
- MRR@1000: 44.317
- NDCG@1: 27.383000000000003
- NDCG@10: 52.032000000000004
- NDCG@100: 56.19499999999999
- NDCG@1000: 56.272
- Precision@1: 27.383000000000003
- Precision@10: 8.087
- Precision@100: 0.989
- Precision@1000: 0.099
- Recall@1: 27.383000000000003
- Recall@10: 80.868
- Recall@100: 98.86200000000001
- Recall@1000: 99.431
- Recall@3: 51.28
- Recall@5: 65.22
データセット: MTEB CQADupstackAndroidRetrieval
- MAP@1: 33.739999999999995
- MAP@10: 46.197
- MAP@100: 47.814
- MAP@1000: 47.934
- MRR@1: 41.059
- MRR@10: 52.292
- MRR@100: 52.978
- MRR@1000: 53.015
- NDCG@1: 41.059
- NDCG@10: 52.608
- NDCG@100: 57.965
- NDCG@1000: 59.775999999999996
- Precision@1: 41.059
- Precision@10: 9.943
- Precision@100: 1.6070000000000002
- Precision@1000: 0.20500000000000002
- Recall@1: 33.739999999999995
- Recall@10: 63.888999999999996
- Recall@100: 85.832
- Recall@1000: 97.475
- Recall@3: 51.953
- Recall@5: 57.498000000000005
データセット: MTEB CQADupstackEnglishRetrieval
- MAP@1: 31.169999999999998
- MAP@10: 41.455
- MAP@100: 42.716
- MAP@1000: 42.847
- MRR@1: 39.427
- MRR@10: 47.818
- MRR@100: 48.519
- MRR@1000: 48.558
- NDCG@1: 39.427
- NDCG@10: 47.181
- NDCG@100: 51.737
- NDCG@1000: 53.74
- Precision@1: 39.427
- Precision@10: 8.847
- Precision@100: 1.425
- Precision@1000: 0.189
- Recall@1: 31.169999999999998
- Recall@10: 56.971000000000004
- Recall@100: 76.31400000000001
- Recall@1000: 88.93900000000001
- Recall@3: 45.208
- Recall@5: 49.923
データセット: MTEB CQADupstackGamingRetrieval
- MAP@1: 39.682
- MAP@10: 52.766000000000005
- MAP@100: 53.84100000000001
- MAP@1000: 53.898
- MRR@1: 45.266
- MRR@10: 56.093
- MRR@100: 56.763
- MRR@1000: 56.793000000000006
- NDCG@1: 45.266
- NDCG@10: 58.836
- NDCG@100: 62.863
- NDCG@1000: 63.912
- Precision@1: 45.266
- Precision@10: 9.492
- Precision@100: 1.236
- Precision@1000: 0.13699999999999998
- Recall@1: 39.682
- Recall@10: 73.233
- Recall@100: 90.335
- Recall@1000: 97.452
- Recall@3: 58.562000000000005
- Recall@5: 65.569
データセット: MTEB CQADupstackGisRetrieval
- MAP@1: 26.743
- MAP@10: 34.016000000000005
- MAP@100: 35.028999999999996
- MAP@1000: 35.113
- MRR@1: 28.927000000000003
- MRR@10: 36.32
- MRR@100: 37.221
- MRR@1000: 37.281
- NDCG@1: 28.927000000000003
- NDCG@10: 38.474000000000004
- NDCG@100: 43.580000000000005
- NDCG@1000: 45.64
- Precision@1: 28.927000000000003
- Precision@10: 5.74
- Precision@100: 0.8710000000000001
- Precision@1000: 0.108
- Recall@1: 26.743
- Recall@10: 49.955
- Recall@100: 73.904
- Recall@1000: 89.133
- Recall@3: 38.072
- Recall@5: 43.266
データセット: MTEB CQADupstackMathematicaRetrieval
- MAP@1: 16.928
- MAP@10: 23.549
- MAP@100: 24.887
- MAP@1000: 25.018
- MRR@1: 21.02
- MRR@10: 27.898
- MRR@100: 29.018
- MRR@1000: 29.099999999999998
- NDCG@1: 21.02
- NDCG@10: 28.277
- NDCG@100: 34.54
- NDCG@1000: 37.719
- Precision@1: 21.02
- Precision@10: 5.361
- Precision@100: 0.9809999999999999
- Precision@1000: 0.13899999999999998
- Recall@1: 16.928
- Recall@10: 38.601
- Recall@100: 65.759
- Recall@1000: 88.543
- Recall@3: 25.556
- Recall@5: 30.447000000000003
データセット: MTEB CQADupstackPhysicsRetrieval
- MAP@1: 28.549000000000003
- MAP@10: 38.426
- MAP@100: 39.845000000000006
- MAP@1000: 39.956
- MRR@1: 35.034
- MRR@10: 44.041000000000004
- MRR@100: 44.95
- MRR@1000: 44.997
- NDCG@1: 35.034
- NDCG@10: 44.218
- NDCG@100: 49.958000000000006
- NDCG@1000: 52.019000000000005
- Precision@1: 35.034
- Precision@10: 7.911
- Precision@100: 1.26
- Precision@1000: 0.16
- Recall@1: 28.549000000000003
- Recall@10: 56.035999999999994
- Recall@100: 79.701
- Recall@1000: 93.149
- Recall@3: 42.275
- Recall@5: 49.097