Jina Embeddings V2 Base中国語埋め込みモデル - オープンソースで無料で文の類似度計算と特徴抽出を実現

ホーム

Jina Embeddings V2 Base Zh

silverjamによって開発

Jina Embeddings V2 Baseは中国語に最適化された文埋め込みモデルで、テキストを高次元ベクトル表現に変換し、文の類似度計算や特徴抽出に使用できます。

テキスト埋め込み複数言語対応オープンソースライセンス:Apache-2.0 #中文文埋め込み #意味的類似度計算 #医療QA再ランキング

ダウンロード数 63

リリース時間 : 6/5/2024

モデル概要

このモデルは中国語テキストの埋め込み表現に特化しており、文の類似度計算、テキスト分類、クラスタリングなどの様々な自然言語処理タスクをサポートします。

モデル特徴

中国語最適化

中国語テキストに特化して最適化されており、より正確な中国語文埋め込み表現を提供します。

マルチタスクサポート

文の類似度計算、テキスト分類、クラスタリングなど、様々な自然言語処理タスクをサポートします。

高性能

複数の中国語ベンチマークテストで優れた性能を発揮し、特に文類似度タスクで顕著です。

モデル能力

文埋め込み生成

テキスト特徴抽出

文類似度計算

テキスト分類

テキストクラスタリング

情報検索

使用事例

情報検索

医療QA検索

医療QAシステムで関連する質問と回答を検索するために使用

CMedQAデータセットで優れた性能を発揮し、MAPが83.74を達成

テキスト類似度

QAペアマッチング

質問と回答の関連性を判断

AFQMCデータセットでコサイン類似度ピアソン値が48.51

テキスト分類

商品レビュー分類

中国語の商品レビューを感情やテーマで分類

Amazon中国語レビュー分類タスクで精度34.94%を達成

🚀 jina-embeddings-v2-base-zh

このモデルは、文章の埋め込みを生成するために使用され、文章の類似性の計算や特徴抽出などのタスクに役立ちます。複数の言語（英語と中国語）に対応しており、様々な自然言語処理タスクでの使用が想定されています。

📚 詳細ドキュメント

モデル情報

属性	詳情
モデル名	jina-embeddings-v2-base-zh
サポート言語	英語、中国語
ライセンス	Apache-2.0

評価結果

意味的テキスト類似性 (STS) タスク

C-MTEB/AFQMC (検証データセット)
- コサイン類似度 - ピアソン相関係数: 48.51403119231363
- コサイン類似度 - スピアマン相関係数: 50.5928547846445
- ユークリッド距離 - ピアソン相関係数: 48.750436310559074
- ユークリッド距離 - スピアマン相関係数: 50.50950238691385
- マンハッタン距離 - ピアソン相関係数: 48.7866189440328
- マンハッタン距離 - スピアマン相関係数: 50.58692402017165
C-MTEB/ATEC (テストデータセット)
- コサイン類似度 - ピアソン相関係数: 50.25985700105725
- コサイン類似度 - スピアマン相関係数: 51.28815934593989
- ユークリッド距離 - ピアソン相関係数: 52.70329248799904
- ユークリッド距離 - スピアマン相関係数: 50.94101139559258
- マンハッタン距離 - ピアソン相関係数: 52.6647237400892
- マンハッタン距離 - スピアマン相関係数: 50.922441325406176
C-MTEB/BQ (テストデータセット)
- コサイン類似度 - ピアソン相関係数: 65.15667035488342
- コサイン類似度 - スピアマン相関係数: 66.07110142081
- ユークリッド距離 - ピアソン相関係数: 60.447598102249714
- ユークリッド距離 - スピアマン相関係数: 61.826575796578766
- マンハッタン距離 - ピアソン相関係数: 60.39364279354984
- マンハッタン距離 - スピアマン相関係数: 61.78743491223281
C-MTEB/LCQMC (テストデータセット)
- コサイン類似度 - ピアソン相関係数: 68.62670112113864
- コサイン類似度 - スピアマン相関係数: 75.74009123170768
- ユークリッド距離 - ピアソン相関係数: 73.93002595958237
- ユークリッド距離 - スピアマン相関係数: 75.35222935003587
- マンハッタン距離 - ピアソン相関係数: 73.89870445158144
- マンハッタン距離 - スピアマン相関係数: 75.31714936339398

分類タスク

mteb/amazon_reviews_multi (テストデータセット)
- 正解率: 34.944
- F1値: 34.06478860660109
C-MTEB/IFlyTek-classification (検証データセット)
- 正解率: 47.36437091188918
- F1値: 36.60946954228577
C-MTEB/JDReview-classification (テストデータセット)
- 正解率: 79.5684803001876
- 平均適合率: 42.671935929201524
- F1値: 73.31912729103752
mteb/amazon_massive_intent (テストデータセット)
- 正解率: 68.1977135171486
- F1値: 67.23114308718404
mteb/amazon_massive_scenario (テストデータセット)
- 正解率: 71.92669804976462
- F1値: 72.90628475628779

クラスタリングタスク

C-MTEB/CLSClusteringP2P (テストデータセット)
- V測度: 39.96714175391701
C-MTEB/CLSClusteringS2S (テストデータセット)
- V測度: 38.39863566717934

再ランキングタスク

C-MTEB/CMedQAv1-reranking (テストデータセット)
- 平均適合率 (MAP): 83.63680381780644
- 平均逆順位 (MRR): 86.16476190476192
C-MTEB/CMedQAv2-reranking (テストデータセット)
- 平均適合率 (MAP): 83.74350667859487
- 平均逆順位 (MRR): 86.10388888888889
C-MTEB/Mmarco-reranking (開発データセット)
- 平均適合率 (MAP): 31.5372713650176
- 平均逆順位 (MRR): 30.163095238095238

検索タスク

C-MTEB/CmedqaRetrieval (開発データセット)
- MAP@1: 22.072
- MAP@10: 32.942
- MAP@100: 34.768
- MAP@1000: 34.902
- MAP@3: 29.357
- MAP@5: 31.236000000000004
- MRR@1: 34.259
- MRR@10: 41.957
- MRR@100: 42.982
- MRR@1000: 43.042
- MRR@3: 39.722
- MRR@5: 40.898
- NDCG@1: 34.259
- NDCG@10: 39.153
- NDCG@100: 46.493
- NDCG@1000: 49.01
- NDCG@3: 34.636
- NDCG@5: 36.278
- Precision@1: 34.259
- Precision@10: 8.815000000000001
- Precision@100: 1.474
- Precision@1000: 0.179
- Precision@3: 19.73
- Precision@5: 14.174000000000001
- Recall@1: 22.072
- Recall@10: 48.484
- Recall@100: 79.035
- Recall@1000: 96.15
- Recall@3: 34.607
- Recall@5: 40.064
C-MTEB/CovidRetrieval (開発データセット)
- MAP@1: 69.178
- MAP@10: 77.523
- MAP@100: 77.793
- MAP@1000: 77.79899999999999
- MAP@3: 75.878
- MAP@5: 76.849
- MRR@1: 69.44200000000001
- MRR@10: 77.55
- MRR@100: 77.819
- MRR@1000: 77.826
- MRR@3: 75.957
- MRR@5: 76.916
- NDCG@1: 69.44200000000001
- NDCG@10: 81.217
- NDCG@100: 82.45
- NDCG@1000: 82.636
- NDCG@3: 77.931
- NDCG@5: 79.655
- Precision@1: 69.44200000000001
- Precision@10: 9.357
- Precision@100: 0.993
- Precision@1000: 0.101
- Precision@3: 28.1
- Precision@5: 17.724
- Recall@1: 69.178
- Recall@10: 92.624
- Recall@100: 98.209
- Recall@1000: 99.684
- Recall@3: 83.772
- Recall@5: 87.882
C-MTEB/DuRetrieval (開発データセット)
- MAP@1: 25.163999999999998
- MAP@10: 76.386
- MAP@100: 79.339
- MAP@1000: 79.39500000000001
- MAP@3: 52.959
- MAP@5: 66.59
- MRR@1: 87.9
- MRR@10: 91.682
- MRR@100: 91.747
- MRR@1000: 91.751
- MRR@3: 91.267
- MRR@5: 91.527
- NDCG@1: 87.9
- NDCG@10: 84.569
- NDCG@100: 87.83800000000001
- NDCG@1000: 88.322
- NDCG@3: 83.473
- NDCG@5: 82.178
- Precision@1: 87.9
- Precision@10: 40.605000000000004
- Precision@100: 4.752
- Precision@1000: 0.488
- Precision@3: 74.9
- Precision@5: 62.96000000000001
- Recall@1: 25.163999999999998
- Recall@10: 85.97399999999999
- Recall@100: 96.63000000000001
- Recall@1000: 99.016
- Recall@3: 55.611999999999995
- Recall@5: 71.936
C-MTEB/EcomRetrieval (開発データセット)
- MAP@1: 48.6
- MAP@10: 58.831
- MAP@100: 59.427
- MAP@1000: 59.44199999999999
- MAP@3: 56.383
- MAP@5: 57.753
- MRR@1: 48.6
- MRR@10: 58.831
- MRR@100: 59.427
- MRR@1000: 59.44199999999999
- MRR@3: 56.383
- MRR@5: 57.753
- NDCG@1: 48.6
- NDCG@10: 63.951
- NDCG@100: 66.72200000000001
- NDCG@1000: 67.13900000000001
- NDCG@3: 58.882
- NDCG@5: 61.373
- Precision@1: 48.6
- Precision@10: 8.01
- Precision@100: 0.928
- Precision@1000: 0.096
- Precision@3: 22.033
- Precision@5: 14.44
- Recall@1: 48.6
- Recall@10: 80.10000000000001
- Recall@100: 92.80000000000001
- Recall@1000: 96.1
- Recall@3: 66.10000000000001
- Recall@5: 72.2
C-MTEB/MMarcoRetrieval (開発データセット)
- MAP@1: 65.054
- MAP@10: 74.156
- MAP@100: 74.523
- MAP@1000: 74.535
- MAP@3: 72.269
- MAP@5: 73.41
- MRR@1: 67.24900000000001
- MRR@10: 74.78399999999999
- MRR@100: 75.107
- MRR@1000: 75.117
- MRR@3: 73.13499999999999
- MRR@5: 74.13499999999999
- NDCG@1: 67.24900000000001
- NDCG@10: 77.96300000000001
- NDCG@100: 79.584
- NDCG@1000: 79.884
- NDCG@3: 74.342
- NDCG@5: 76.278
- Precision@1: 67.24900000000001
- Precision@10: 9.466
- Precision@100: 1.027
- Precision@1000: 0.105
- Precision@3: 27.955999999999996
- Precision@5: 17.817
- Recall@1: 65.054
- Recall@10: 89.113
- Recall@100: 96.369
- Recall@1000: 98.714
- Recall@3: 79.45400000000001
- Recall@5: 84.06
C-MTEB/MedicalRetrieval (開発データセット)
- MAP@1: 49.2
- MAP@10: 54.539
- MAP@100: 55.135
- MAP@1000: 55.19199999

ペア分類タスク

C-MTEB/CMNLI (検証データセット)
- コサイン類似度 - 正解率: 76.7047504509922
- コサイン類似度 - 平均適合率: 85.26649874800871
- コサイン類似度 - F1値: 78.13528724646915
- コサイン類似度 - 適合率: 71.57587548638132
- コサイン類似度 - 再現率: 86.01823708206688
- ドット積 - 正解率: 70.13830426939266
- ドット積 - 平均適合率: 77.01510412382171
- ドット積 - F1値: 73.56710042713817
- ドット積 - 適合率: 63.955094991364426
- ドット積 - 再現率: 86.57937806873977
- ユークリッド距離 - 正解率: 75.53818400481059
- ユークリッド距離 - 平均適合率: 84.34668448241264
- ユークリッド距離 - F1値: 77.51741608613047
- ユークリッド距離 - 適合率: 70.65614777756399
- ユークリッド距離 - 再現率: 85.85457096095394
- マンハッタン距離 - 正解率: 75.49007817197835
- マンハッタン距離 - 平均適合率: 84.40297506704299
- マンハッタン距離 - F1値: 77.63185324160932
- マンハッタン距離 - 適合率: 70.03949595636637
- マンハッタン距離 - 再現率: 87.07037643207856
- 最大値 - 正解率: 76.7047504509922
- 最大値 - 平均適合率: 85.26649874800871
- 最大値 - F1値: 78.13528724646915