Instructor Xl

🚀 文章相似性モデル

このモデルは文章の類似性を評価するためのもので、様々な自然言語処理タスクに対応しています。テキスト埋め込み、情報検索、文章分類などのタスクで高い性能を発揮します。

🚀 クイックスタート

このモデルの使用には、関連するライブラリや環境のセットアップが必要です。具体的な手順は公式ドキュメントを参照してください。

✨ 主な機能

• 文章の類似性評価
• テキスト埋め込み生成
• 情報検索、分類、クラスタリングなどのタスク対応

📦 インストール

インストール手順については、原ドキュメントに記載がないため、このセクションを省略します。

💻 使用例

使用例に関するコードが原ドキュメントにないため、このセクションを省略します。

📚 ドキュメント

モデル情報

モデルの評価結果

モデル名 final_xl_results の各タスクにおける評価結果は以下の通りです。

分類タスク

• MTEB AmazonCounterfactualClassification (en)
  • 精度 (accuracy): 85.08955223880596
  • AP (Average Precision): 52.66066378722476
  • F1スコア: 79.63340218960269
• MTEB AmazonPolarityClassification
  • 精度 (accuracy): 86.542
  • AP (Average Precision): 81.92695193008987
  • F1スコア: 86.51466132573681
• MTEB AmazonReviewsClassification (en)
  • 精度 (accuracy): 42.964
  • F1スコア: 41.43146249774862
• MTEB Banking77Classification
  • 精度 (accuracy): 82.66233766233766
  • F1スコア: 82.04175284777669

検索タスク

• MTEB ArguAna
  • MAP@1: 29.872
  • MAP@10: 46.342
  • MAP@100: 47.152
  • MAP@1000: 47.154
  • MRR@1: 30.939
  • MRR@10: 46.756
  • MRR@100: 47.573
  • MRR@1000: 47.575
  • NDCG@1: 29.872
  • NDCG@10: 55.65
  • NDCG@100: 58.88099999999999
  • NDCG@1000: 58.951
  • Precision@1: 29.872
  • Precision@10: 8.549
  • Precision@100: 0.991
  • Precision@1000: 0.1
  • Recall@1: 29.872
  • Recall@10: 85.491
  • Recall@100: 99.075
  • Recall@1000: 99.644
• MTEB CQADupstackAndroidRetrieval
  • MAP@1: 36.797000000000004
  • MAP@10: 48.46
  • MAP@100: 49.968
  • MAP@1000: 50.080000000000005
  • MRR@1: 45.494
  • MRR@10: 54.747
  • MRR@100: 55.43599999999999
  • MRR@1000: 55.464999999999996
  • NDCG@1: 45.494
  • NDCG@10: 54.989
  • NDCG@100: 60.096000000000004
  • NDCG@1000: 61.58
  • Precision@1: 45.494
  • Precision@10: 10.558
  • Precision@100: 1.6049999999999998
  • Precision@1000: 0.203
  • Recall@1: 36.797000000000004
  • Recall@10: 66.83
  • Recall@100: 88.34100000000001
  • Recall@1000: 97.202
• MTEB CQADupstackEnglishRetrieval
  • MAP@1: 32.597
  • MAP@10: 43.424
  • MAP@100: 44.78
  • MAP@1000: 44.913
  • MRR@1: 40.382
  • MRR@10: 49.219
  • MRR@100: 49.895
  • MRR@1000: 49.936
  • NDCG@1: 40.382
  • NDCG@10: 49.318
  • NDCG@100: 53.839999999999996
  • NDCG@1000: 55.82899999999999
  • Precision@1: 40.382
  • Precision@10: 9.274000000000001
  • Precision@100: 1.497
  • Precision@1000: 0.198
  • Recall@1: 32.597
  • Recall@10: 59.882000000000005
  • Recall@100: 78.446
  • Recall@1000: 90.88000000000001
• MTEB CQADupstackGamingRetrieval
  • MAP@1: 43.8
  • MAP@10: 57.293000000000006
  • MAP@100: 58.321
  • MAP@1000: 58.361
  • MRR@1: 49.592000000000006
  • MRR@10: 60.643
  • MRR@100: 61.23499999999999
  • MRR@1000: 61.251999999999995
  • NDCG@1: 49.592000000000006
  • NDCG@10: 63.364
  • NDCG@100: 67.167
  • NDCG@1000: 67.867
  • Precision@1: 49.592000000000006
  • Precision@10: 10.088
  • Precision@100: 1.2930000000000001
  • Precision@1000: 0.13899999999999998
  • Recall@1: 43.8
  • Recall@10: 77.635
  • Recall@100: 93.748
  • Recall@1000: 98.468
• MTEB CQADupstackGisRetrieval
  • MAP@1: 27.721
  • MAP@10: 35.626999999999995
  • MAP@100: 36.719
  • MAP@1000: 36.8
  • MRR@1: 29.604999999999997
  • MRR@10: 37.564
  • MRR@100: 38.505
  • MRR@1000: 38.565
  • NDCG@1: 29.604999999999997
  • NDCG@10: 40.575
  • NDCG@100: 45.613
  • NDCG@1000: 47.676
  • Precision@1: 29.604999999999997
  • Precision@10: 6.1690000000000005
  • Precision@100: 0.906
  • Precision@1000: 0.11199999999999999
  • Recall@1: 27.721
  • Recall@10: 54.041
  • Recall@100: 76.62299999999999
  • Recall@1000: 92.134
• MTEB CQADupstackMathematicaRetrieval
  • MAP@1: 16.553
  • MAP@10: 25.384
  • MAP@100: 26.655
  • MAP@1000: 26.778000000000002
  • MRR@1: 20.149
  • MRR@10: 29.705
  • MRR@100: 30.672
  • MRR@1000: 30.737
  • NDCG@1: 20.149
  • NDCG@10: 30.843999999999998
  • NDCG@100: 36.716
  • NDCG@1000: 39.495000000000005
  • Precision@1: 20.149
  • Precision@10: 5.858
  • Precision@100: 1.009
  • Precision@1000: 0.13799999999999998
  • Recall@1: 16.553
  • Recall@10: 43.136
  • Recall@100: 68.562
  • Recall@1000: 88.208
• MTEB CQADupstackPhysicsRetrieval
  • MAP@1: 28.000999999999998
  • MAP@10: 39.004
  • MAP@100: 40.461999999999996
  • MAP@1000: 40.566
  • MRR@1: 33.782000000000004
  • MRR@10: 44.702
  • MRR@100: 45.528
  • MRR@1000: 45.576
  • NDCG@1: 33.782000000000004
  • NDCG@10: 45.275999999999996
  • NDCG@100: 50.888
  • NDCG@1000: 52.879
  • Precision@1: 33.782000000000004
  • Precision@10: 8.200000000000001
  • Precision@100: 1.287
  • Precision@1000: 0.16199999999999998
  • Recall@1: 28.000999999999998
  • Recall@10: 58.131
  • Recall@100: 80.869
  • Recall@1000: 93.931

クラスタリングタスク

• MTEB ArxivClusteringP2P
  • V-measure: 42.452729850641276
• MTEB ArxivClusteringS2S
  • V-measure: 32.21141846480423
• MTEB BiorxivClusteringP2P
  • V-measure: 37.36697339826455
• MTEB BiorxivClusteringS2S
  • V-measure: 30.551241447593092

再ランキングタスク

• MTEB AskUbuntuDupQuestions
  • MAP: 65.34710928952622
  • MRR: 77.61124301983028

STSタスク

• MTEB BIOSSES
  • コサイン類似度のスピアマン相関係数: 84.15312230525639

🔧 技術詳細

原ドキュメントに技術詳細に関する具体的な説明がないため、このセクションを省略します。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。