%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
JA
NV Embed V2
N
NV Embed V2
nvidiaによって開発
NV-Embed-v2 は sentence-transformers ベースの埋め込みモデルで、複数の MTEB ベンチマークテストで優れたパフォーマンスを発揮し、様々な自然言語処理タスクに適しています。
ダウンロード数 35.55k
リリース時間 : 8/29/2024
モデル概要
このモデルは主にテキスト埋め込みと類似度計算に使用され、分類、クラスタリング、検索、再ランキングなどの多様なタスクをサポートします。
モデル特徴
高性能テキスト埋め込み
複数の MTEB ベンチマークテストで優れたパフォーマンスを発揮し、特に分類と検索タスクで顕著です。
マルチタスクサポート
分類、クラスタリング、検索、再ランキングなど、様々な自然言語処理タスクをサポートします。
高精度
AmazonCounterfactualClassification と AmazonPolarityClassification タスクでそれぞれ 94.28% と 97.74% の精度を達成しました。
モデル能力
テキスト分類
テキストクラスタリング
情報検索
再ランキング
テキスト類似度計算
使用事例
電子商取引
製品レビュー分類
Amazonの製品レビューを分類し、肯定的な評価と否定的な評価を識別します。
AmazonPolarityClassification タスクで 97.74% の精度を達成しました。
反事実的レビュー検出
Amazon上の反事実的レビューを検出し、虚偽または誤解を招く内容を識別するのに役立ちます。
AmazonCounterfactualClassification タスクで 94.28% の精度を達成しました。
学術研究
論文クラスタリング
arXiv と bioRxiv 上の学術論文をクラスタリングし、研究者が関連する研究を発見するのを支援します。
ArxivClusteringP2P と BiorxivClusteringP2P タスクでそれぞれ 55.80% と 54.09% の v_measure スコアを達成しました。
テクニカルサポート
重複質問検出
AskUbuntu コミュニティで重複する技術的な質問を検出し、サポート効率を向上させます。
AskUbuntuDupQuestions タスクで 67.46% の map スコアを達成しました。
🚀 NV-Embed-v2
NV-Embed-v2は、MTEBやsentence-transformersなどの分野で使用されるモデルです。以下に、様々なデータセットにおける評価結果を示します。
📚 詳細ドキュメント
評価結果一覧
MTEB AmazonCounterfactualClassification (en)
| 指標 | 値 |
|---|---|
| 精度 (accuracy) | 94.28358208955224 |
| 精度の標準誤差 (accuracy_stderr) | 0.40076780842082305 |
| 平均適合率 (ap) | 76.49097318319616 |
| 平均適合率の標準誤差 (ap_stderr) | 1.2418692675183929 |
| F1スコア (f1) | 91.41982003001168 |
| F1スコアの標準誤差 (f1_stderr) | 0.5043921413093579 |
| メインスコア (main_score) | 94.28358208955224 |
| タスクタイプ | Classification |
MTEB AmazonPolarityClassification
| 指標 | 値 |
|---|---|
| 精度 (accuracy) | 97.74185000000001 |
| 精度の標準誤差 (accuracy_stderr) | 0.07420471683120942 |
| 平均適合率 (ap) | 96.4737144875525 |
| 平均適合率の標準誤差 (ap_stderr) | 0.2977518241541558 |
| F1スコア (f1) | 97.7417581594921 |
| F1スコアの標準誤差 (f1_stderr) | 0.07428763617010377 |
| メインスコア (main_score) | 97.74185000000001 |
| タスクタイプ | Classification |
MTEB AmazonReviewsClassification (en)
| 指標 | 値 |
|---|---|
| 精度 (accuracy) | 63.96000000000001 |
| 精度の標準誤差 (accuracy_stderr) | 1.815555011559825 |
| F1スコア (f1) | 62.49361841640459 |
| F1スコアの標準誤差 (f1_stderr) | 2.829339314126457 |
| メインスコア (main_score) | 63.96000000000001 |
| タスクタイプ | Classification |
MTEB ArguAna
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 46.515 |
| MAP@10 (map_at_10) | 62.392 |
| MAP@100 (map_at_100) | 62.732 |
| MAP@1000 (map_at_1000) | 62.733000000000004 |
| MAP@3 (map_at_3) | 58.701 |
| MAP@5 (map_at_5) | 61.027 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 46.515 |
| NDCG@10 (ndcg_at_10) | 70.074 |
| NDCG@100 (ndcg_at_100) | 71.395 |
| NDCG@1000 (ndcg_at_1000) | 71.405 |
| NDCG@3 (ndcg_at_3) | 62.643 |
| NDCG@5 (ndcg_at_5) | 66.803 |
| 精度@1 (precision_at_1) | 46.515 |
| 精度@10 (precision_at_10) | 9.41 |
| 精度@100 (precision_at_100) | 0.996 |
| 精度@1000 (precision_at_1000) | 0.1 |
| 精度@3 (precision_at_3) | 24.68 |
| 精度@5 (precision_at_5) | 16.814 |
| 再現率@1 (recall_at_1) | 46.515 |
| 再現率@10 (recall_at_10) | 94.097 |
| 再現率@100 (recall_at_100) | 99.57300000000001 |
| 再現率@1000 (recall_at_1000) | 99.644 |
| 再現率@3 (recall_at_3) | 74.03999999999999 |
| 再現率@5 (recall_at_5) | 84.068 |
| メインスコア (main_score) | 70.074 |
| タスクタイプ | Retrieval |
MTEB ArxivClusteringP2P
| 指標 | 値 |
|---|---|
| メインスコア (main_score) | 55.79933795955242 |
| V-measure (v_measure) | 55.79933795955242 |
| V-measureの標準偏差 (v_measure_std) | 14.575108141916148 |
| タスクタイプ | Clustering |
MTEB ArxivClusteringS2S
| 指標 | 値 |
|---|---|
| メインスコア (main_score) | 51.262845995850334 |
| V-measure (v_measure) | 51.262845995850334 |
| V-measureの標準偏差 (v_measure_std) | 14.727824473104173 |
| タスクタイプ | Clustering |
MTEB AskUbuntuDupQuestions
| 指標 | 値 |
|---|---|
| MAP (map) | 67.46477327480808 |
| MRR (mrr) | 79.50160488941653 |
| メインスコア (main_score) | 67.46477327480808 |
| タスクタイプ | Reranking |
MTEB BIOSSES
| 指標 | 値 |
|---|---|
| コサイン相関係数（ピアソン） (cosine_pearson) | 89.74311007980987 |
| コサイン相関係数（スピアマン） (cosine_spearman) | 87.41644967443246 |
| マンハッタン距離相関係数（ピアソン） (manhattan_pearson) | 88.57457108347744 |
| マンハッタン距離相関係数（スピアマン） (manhattan_spearman) | 87.59295972042997 |
| ユークリッド距離相関係数（ピアソン） (euclidean_pearson) | 88.27108977118459 |
| ユークリッド距離相関係数（スピアマン） (euclidean_spearman) | 87.41644967443246 |
| メインスコア (main_score) | 87.41644967443246 |
| タスクタイプ | STS |
MTEB Banking77Classification
| 指標 | 値 |
|---|---|
| 精度 (accuracy) | 92.41558441558443 |
| 精度の標準誤差 (accuracy_stderr) | 0.37701502251934443 |
| F1スコア (f1) | 92.38130170447671 |
| F1スコアの標準誤差 (f1_stderr) | 0.39115151225617767 |
| メインスコア (main_score) | 92.41558441558443 |
| タスクタイプ | Classification |
MTEB BiorxivClusteringP2P
| 指標 | 値 |
|---|---|
| メインスコア (main_score) | 54.08649516394218 |
| V-measure (v_measure) | 54.08649516394218 |
| V-measureの標準偏差 (v_measure_std) | 0.5303233693045373 |
| タスクタイプ | Clustering |
MTEB BiorxivClusteringS2S
| 指標 | 値 |
|---|---|
| メインスコア (main_score) | 49.60352214167779 |
| V-measure (v_measure) | 49.60352214167779 |
| V-measureの標準偏差 (v_measure_std) | 0.7176198612516721 |
| タスクタイプ | Clustering |
MTEB CQADupstackRetrieval
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 31.913249999999998 |
| MAP@10 (map_at_10) | 43.87733333333334 |
| MAP@100 (map_at_100) | 45.249916666666664 |
| MAP@1000 (map_at_1000) | 45.350583333333326 |
| MAP@3 (map_at_3) | 40.316833333333335 |
| MAP@5 (map_at_5) | 42.317083333333336 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 38.30616666666667 |
| NDCG@10 (ndcg_at_10) | 50.24175000000001 |
| NDCG@100 (ndcg_at_100) | 55.345333333333336 |
| NDCG@1000 (ndcg_at_1000) | 56.91225000000001 |
| NDCG@3 (ndcg_at_3) | 44.67558333333333 |
| NDCG@5 (ndcg_at_5) | 47.32333333333334 |
| 精度@1 (precision_at_1) | 38.30616666666667 |
| 精度@10 (precision_at_10) | 9.007416666666666 |
| 精度@100 (precision_at_100) | 1.3633333333333333 |
| 精度@1000 (precision_at_1000) | 0.16691666666666666 |
| 精度@3 (precision_at_3) | 20.895666666666667 |
| 精度@5 (precision_at_5) | 14.871666666666666 |
| 再現率@1 (recall_at_1) | 31.913249999999998 |
| 再現率@10 (recall_at_10) | 64.11891666666666 |
| 再現率@100 (recall_at_100) | 85.91133333333333 |
| 再現率@1000 (recall_at_1000) | 96.28225 |
| 再現率@3 (recall_at_3) | 48.54749999999999 |
| 再現率@5 (recall_at_5) | 55.44283333333334 |
| メインスコア (main_score) | 50.24175000000001 |
| タスクタイプ | Retrieval |
MTEB ClimateFEVER
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 19.556 |
| MAP@10 (map_at_10) | 34.623 |
| MAP@100 (map_at_100) | 36.97 |
| MAP@1000 (map_at_1000) | 37.123 |
| MAP@3 (map_at_3) | 28.904999999999998 |
| MAP@5 (map_at_5) | 31.955 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 44.104 |
| NDCG@10 (ndcg_at_10) | 45.388 |
| NDCG@100 (ndcg_at_100) | 52.793 |
| NDCG@1000 (ndcg_at_1000) | 55.108999999999995 |
| NDCG@3 (ndcg_at_3) | 38.604 |
| NDCG@5 (ndcg_at_5) | 40.806 |
| 精度@1 (precision_at_1) | 44.104 |
| 精度@10 (precision_at_10) | 14.143 |
| 精度@100 (precision_at_100) | 2.2190000000000003 |
| 精度@1000 (precision_at_1000) | 0.266 |
| 精度@3 (precision_at_3) | 29.316 |
| 精度@5 (precision_at_5) | 21.98 |
| 再現率@1 (recall_at_1) | 19.556 |
| 再現率@10 (recall_at_10) | 52.120999999999995 |
| 再現率@100 (recall_at_100) | 76.509 |
| 再現率@1000 (recall_at_1000) | 89.029 |
| 再現率@3 (recall_at_3) | 34.919 |
| 再現率@5 (recall_at_5) | 42.18 |
| メインスコア (main_score) | 45.388 |
| タスクタイプ | Retrieval |
MTEB DBPedia
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 10.714 |
| MAP@10 (map_at_10) | 25.814999999999998 |
| MAP@100 (map_at_100) | 37.845 |
| MAP@1000 (map_at_1000) | 39.974 |
| MAP@3 (map_at_3) | 17.201 |
| MAP@5 (map_at_5) | 21.062 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 66.0 |
| NDCG@10 (ndcg_at_10) | 53.496 |
| NDCG@100 (ndcg_at_100) | 58.053 |
| NDCG@1000 (ndcg_at_1000) | 64.886 |
| NDCG@3 (ndcg_at_3) | 57.656 |
| NDCG@5 (ndcg_at_5) | 55.900000000000006 |
| 精度@1 (precision_at_1) | 77.25 |
| 精度@10 (precision_at_10) | 43.65 |
| 精度@100 (precision_at_100) | 13.76 |
| 精度@1000 (precision_at_1000) | 2.5940000000000003 |
| 精度@3 (precision_at_3) | 61.0 |
| 精度@5 (precision_at_5) | 54.65 |
| 再現率@1 (recall_at_1) | 10.714 |
| 再現率@10 (recall_at_10) | 31.173000000000002 |
| 再現率@100 (recall_at_100) | 63.404 |
| 再現率@1000 (recall_at_1000) | 85.874 |
| 再現率@3 (recall_at_3) | 18.249000000000002 |
| 再現率@5 (recall_at_5) | 23.69 |
| メインスコア (main_score) | 53.496 |
| タスクタイプ | Retrieval |
MTEB EmotionClassification
| 指標 | 値 |
|---|---|
| 精度 (accuracy) | 93.38499999999999 |
| 精度の標準誤差 (accuracy_stderr) | 0.13793114224133846 |
| F1スコア (f1) | 90.12141028353496 |
| F1スコアの標準誤差 (f1_stderr) | 0.174640257706043 |
| メインスコア (main_score) | 93.38499999999999 |
| タスクタイプ | Classification |
MTEB FEVER
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 84.66900000000001 |
| MAP@10 (map_at_10) | 91.52799999999999 |
| MAP@100 (map_at_100) | 91.721 |
| MAP@1000 (map_at_1000) | 91.73 |
| MAP@3 (map_at_3) | 90.752 |
| MAP@5 (map_at_5) | 91.262 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 91.20899999999999 |
| NDCG@10 (ndcg_at_10) | 93.74900000000001 |
| NDCG@100 (ndcg_at_100) | 94.279 |
| NDCG@1000 (ndcg_at_1000) | 94.408 |
| NDCG@3 (ndcg_at_3) | 92.923 |
| NDCG@5 (ndcg_at_5) | 93.376 |
| 精度@1 (precision_at_1) | 91.20899999999999 |
| 精度@10 (precision_at_10) | 11.059 |
| 精度@100 (precision_at_100) | 1.1560000000000001 |
| 精度@1000 (precision_at_1000) | 0.11800000000000001 |
| 精度@3 (precision_at_3) | 35.129 |
| 精度@5 (precision_at_5) | 21.617 |
| 再現率@1 (recall_at_1) | 84.66900000000001 |
| 再現率@10 (recall_at_10) | 97.03399999999999 |
| 再現率@100 (recall_at_100) | 98.931 |
| 再現率@1000 (recall_at_1000) | 99.65899999999999 |
| 再現率@3 (recall_at_3) | 94.76299999999999 |
| 再現率@5 (recall_at_5) | 95.968 |
| メインスコア (main_score) | 93.74900000000001 |
| タスクタイプ | Retrieval |
MTEB FiQA2018
| 指標 | 値 |
|---|---|
| MAP@1 (map_at_1) | 34.866 |
| MAP@10 (map_at_10) | 58.06099999999999 |
| MAP@100 (map_at_100) | 60.028999999999996 |
| MAP@1000 (map_at_1000) | 60.119 |
| MAP@3 (map_at_3) | 51.304 |
| MAP@5 (map_at_5) | 55.054 |
| MRR@1 (mrr_at_1) | 0.0 |
| MRR@10 (mrr_at_10) | 0.0 |
| MRR@100 (mrr_at_100) | 0.0 |
| MRR@1000 (mrr_at_1000) | 0.0 |
| MRR@3 (mrr_at_3) | 0.0 |
| MRR@5 (mrr_at_5) | 0.0 |
| NDCG@1 (ndcg_at_1) | 64.815 |
| NDCG@10 (ndcg_at_10) | 65.729 |
| NDCG@100 (ndcg_at_100) | 71.14 |
| NDCG@1000 (ndcg_at_1000) | 72.336 |
| NDCG@3 (ndcg_at_3) | 61.973 |
| NDCG@5 (ndcg_at_5) | 62.858000000000004 |
| 精度@1 (precision_at_1) | 64.815 |
| 精度@10 (precision_at_10) | 17.87 |
| 精度@100 (precision_at_100) | 2.373 |
| 精度@1000 (precision_at_1000) | 0.258 |
| 精度@3 (precision_at_3) | 41.152 |
| 精度@5 (precision_at_5) | 29.568 |
| 再現率@1 (recall_at_1) | （原文未提供完整内容） |
| タスクタイプ | Retrieval |
Jina Embeddings V3
Jina Embeddings V3 は100以上の言語をサポートする多言語文埋め込みモデルで、文の類似度と特徴抽出タスクに特化しています。
テキスト埋め込み
Transformers 複数言語対応
Transformers 複数言語対応J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
MS Marcoパッセージランキングタスクで訓練されたクロスエンコーダモデル、情報検索におけるクエリ-パッセージ関連性スコアリング用
テキスト埋め込み 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
蒸留技術に基づくスパース検索モデルで、OpenSearch向けに最適化されており、推論不要のドキュメントエンコーディングをサポートし、検索関連性と効率性においてV1版を上回ります
テキスト埋め込み Transformers 英語
Transformers 英語O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
PubMedBERTに基づく生物医学エンティティ表現モデルで、自己アライメント事前学習により意味関係の捕捉を最適化します。
テキスト埋め込み 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Largeは強力なセンテンストランスフォーマーモデルで、文の類似度とテキスト埋め込みタスクに特化しており、複数のベンチマークテストで優れた性能を発揮します。
テキスト埋め込み 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 は英語の文章変換モデルで、文章類似度タスクに特化しており、複数のテキスト埋め込みベンチマークで優れた性能を発揮します。
テキスト埋め込み Transformers 複数言語対応
Transformers 複数言語対応G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base は50以上の言語をサポートする多言語文埋め込みモデルで、文類似度計算などのタスクに適しています。
テキスト埋め込み Transformers 複数言語対応
Transformers 複数言語対応G
Alibaba-NLP
1.2M
246
Polybert
polyBERTは、完全に機械駆動の超高速ポリマー情報学を実現するための化学言語モデルです。PSMILES文字列を600次元の密なフィンガープリントにマッピングし、ポリマー化学構造を数値形式で表現します。
テキスト埋め込み Transformers
TransformersP
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
トルコ語BERTベースの文埋め込みモデルで、意味的類似性タスクに最適化
テキスト埋め込み Transformers その他
Transformers その他B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
BAAI/bge-small-en-v1.5モデルを微調整したテキスト埋め込みモデルで、MEDIデータセットとMTEB分類タスクデータセットで訓練され、検索タスクのクエリエンコーディング能力を最適化しました。
テキスト埋め込み
Safetensors 英語
Safetensors 英語G
avsolatorio
945.68k
29
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル Transformers 複数言語対応
Transformers 複数言語対応L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2％です。
対話システム Transformers 英語
Transformers 英語C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98