Lodestone-base-4096-v1オープンソースモデル - 長いテキストの埋め込みを無料でサポート、意味検索とクラスタリングに使用

ホーム

Lodestone Base 4096 V1

Hum-Worksによって開発

Humによって開発されたsentence-transformersモデルで、4096トークンの長文埋め込みをサポートし、意味検索とクラスタリングタスクに適しています。

テキスト埋め込み

PyTorch

英語オープンソースライセンス:Apache-2.0 #長文埋め込み #ALiBi外挿 #意味検索最適化

ダウンロード数 132

リリース時間 : 8/25/2023

モデル概要

Transformerアーキテクチャを革新した長文エンコーダで、FlashAttention、ALiBi、GLU技術を融合し、文章や段落を768次元のベクトル空間にマッピングできます。

モデル特徴

超長コンテキストサポート

ALiBi技術を通じて4096トークンの入力長に拡張され、長文書の処理に適しています。

高効率注意力機構

FlashAttentionを統合して計算効率を最適化し、Tritonの高性能実装を自動的に呼び出すことができます。

軽量設計

GPU/CPUで動作可能で、性能とリソース消費をバランスさせます。

多源訓練データ

15億の文章ペアの多領域データ（学術、質問応答、コミュニティディスカッションなど）を基に微調整されています。

モデル能力

テキストベクトル化

意味類似度計算

情報検索

テキストクラスタリング

使用事例

知識管理

学術文献検索

S2ORCデータを基に訓練された埋め込みは、論文推薦システムに使用できます。

コミュニティコンテンツ処理

質問応答ペアのマッチング

StackExchangeなどのプラットフォーム上の類似質問を識別します。

🚀 lodestone-base-4096-v1

lodestone-base-4096-v1は、文の類似度を計算するためのモデルです。このモデルは、多様なデータセットを用いて訓練され、分類、検索、クラスタリングなどのタスクに対応しています。

📚 ドキュメント

パイプラインタグ

文の類似度 (sentence-similarity)

推論設定

推論は無効化されています (inference: false)

言語

英語 (en)

訓練データセット

s2orc
flax-sentence-embeddings/stackexchange_title_body_jsonl
flax-sentence-embeddings/stackexchange_titlebody_best_voted_answer_jsonl
flax-sentence-embeddings/stackexchange_title_best_voted_answer_jsonl
flax-sentence-embeddings/stackexchange_titlebody_best_and_down_voted_answer_jsonl
sentence-transformers/reddit-title-body
msmarco
gooaq
yahoo_answers_topics
code_search_net
search_qa
eli5
snli
multi_nli
wikihow
natural_questions
trivia_qa
embedding-data/sentence-compression
embedding-data/flickr30k-captions
embedding-data/altlex
embedding-data/simple-wiki
embedding-data/QQP
embedding-data/SPECTER
embedding-data/PAQ_pairs
embedding-data/WikiAnswers
sentence-transformers/embedding-training-data

モデル情報

属性	详情
モデル名	lodestone-base-4096-v1
モデルタイプ	文の類似度計算モデル

評価結果

分類タスク

MTEB AmazonCounterfactualClassification (en)
- 正解率 (accuracy): 69.7313432835821
- 平均適合率 (ap): 31.618259511417733
- F1値 (f1): 63.30313825394228
MTEB AmazonPolarityClassification
- 正解率 (accuracy): 86.89837499999999
- 平均適合率 (ap): 82.39500885672128
- F1値 (f1): 86.87317947399657
MTEB AmazonReviewsClassification (en)
- 正解率 (accuracy): 44.05
- F1値 (f1): 42.67624383248947
MTEB Banking77Classification
- 正解率 (accuracy): 75.40584415584415
- F1値 (f1): 74.29514617572676

検索タスク

MTEB ArguAna
- MAP@1: 26.173999999999996
- MAP@10: 40.976
- MAP@100: 42.067
- MAP@1000: 42.075
- MRR@1: 26.814
- MRR@10: 41.252
- MRR@100: 42.337
- MRR@1000: 42.345
- NDCG@1: 26.173999999999996
- NDCG@10: 49.819
- NDCG@100: 54.403999999999996
- NDCG@1000: 54.59
- 適合率@1: 26.173999999999996
- 適合率@10: 7.838000000000001
- 適合率@100: 0.9820000000000001
- 適合率@1000: 0.1
- 再現率@1: 26.173999999999996
- 再現率@10: 78.378
- 再現率@100: 98.222
- 再現率@1000: 99.644
MTEB CQADupstackAndroidRetrieval
- MAP@1: 26.595000000000002
- MAP@10: 36.556
- MAP@100: 37.984
- MAP@1000: 38.134
- MRR@1: 32.761
- MRR@10: 41.799
- MRR@100: 42.526
- MRR@1000: 42.582
- NDCG@1: 32.761
- NDCG@10: 42.549
- NDCG@100: 47.915
- NDCG@1000: 50.475
- 適合率@1: 32.761
- 適合率@10: 8.312
- 適合率@100: 1.403
- 適合率@1000: 0.197
- 再現率@1: 26.595000000000002
- 再現率@10: 54.332
- 再現率@100: 76.936
- 再現率@1000: 93.914
MTEB CQADupstackEnglishRetrieval
- MAP@1: 22.528000000000002
- MAP@10: 30.751
- MAP@100: 31.855
- MAP@1000: 31.972
- MRR@1: 28.662
- MRR@10: 35.912
- MRR@100: 36.726
- MRR@1000: 36.777
- NDCG@1: 28.662
- NDCG@10: 35.452
- NDCG@100: 40.1
- NDCG@1000: 42.323
- 適合率@1: 28.662
- 適合率@10: 6.688
- 適合率@100: 1.13
- 適合率@1000: 0.16
- 再現率@1: 22.528000000000002
- 再現率@10: 43.748
- 再現率@100: 64.235
- 再現率@1000: 78.609
MTEB CQADupstackGamingRetrieval
- MAP@1: 33.117999999999995
- MAP@10: 44.339
- MAP@100: 45.367000000000004
- MAP@1000: 45.437
- MRR@1: 38.37
- MRR@10: 47.786
- MRR@100: 48.522
- MRR@1000: 48.567
- NDCG@1: 38.37
- NDCG@10: 50.019999999999996
- NDCG@100: 54.36299999999999
- NDCG@1000: 55.897
- 適合率@1: 38.37
- 適合率@10: 8.288
- 適合率@100: 1.139
- 適合率@1000: 0.132
- 再現率@1: 33.117999999999995
- 再現率@10: 63.451
- 再現率@100: 82.767
- 再現率@1000: 93.786
MTEB CQADupstackGisRetrieval
- MAP@1: 16.028000000000002
- MAP@10: 23.186999999999998
- MAP@100: 24.236
- MAP@1000: 24.337
- MRR@1: 17.514
- MRR@10: 24.84
- MRR@100: 25.838
- MRR@1000: 25.924999999999997
- NDCG@1: 17.514
- NDCG@10: 27.391
- NDCG@100: 32.684999999999995
- NDCG@1000: 35.367
- 適合率@1: 17.514
- 適合率@10: 4.463
- 適合率@100: 0.745
- 適合率@1000: 0.101
- 再現率@1: 16.028000000000002
- 再現率@10: 38.81
- 再現率@100: 63.295
- 再現率@1000: 83.762
MTEB CQADupstackMathematicaRetrieval
- MAP@1: 11.962
- MAP@10: 17.218
- MAP@100: 18.321
- MAP@1000: 18.455
- MRR@1: 14.677000000000001
- MRR@10: 20.381
- MRR@100: 21.471999999999998
- MRR@1000: 21.566
- NDCG@1: 14.677000000000001
- NDCG@10: 20.86
- NDCG@100: 26.519
- NDCG@1000: 30.020000000000003
- 適合率@1: 14.677000000000001
- 適合率@10: 3.856
- 適合率@100: 0.7889999999999999
- 適合率@1000: 0.124
- 再現率@1: 11.962
- 再現率@10: 28.994999999999997
- 再現率@100: 54.071999999999996
- 再現率@1000: 79.309
MTEB CQADupstackPhysicsRetrieval
- MAP@1: 22.764
- MAP@10: 31.744
- MAP@100: 33.037
- MAP@1000: 33.156
- MRR@1: 28.296
- MRR@10: 37.03
- MRR@100: 37.902
- MRR@1000: 37.966
- NDCG@1: 28.296
- NDCG@10: 37.289
- NDCG@100: 42.787
- NDCG@1000: 45.382
- 適合率@1: 28.296
- 適合率@10: 7.724
- 適合率@100: 1.278
- 適合率@1000: 0.173
- 再現率@1: 22.764
- 再現率@10: 45.494
- 再現率@100: 70.074
- 再現率@1000: 89.014

クラスタリングタスク

MTEB ArxivClusteringP2P
- V-measure: 42.31689035788179
MTEB ArxivClusteringS2S
- V-measure: 31.280245136660984
MTEB BiorxivClusteringP2P
- V-measure: 37.41860080664014
MTEB BiorxivClusteringS2S
- V-measure: 29.319217023090705

再ランキングタスク

MTEB AskUbuntuDupQuestions
- MAP: 58.79109720839415
- MRR: 71.79615705931495

STSタスク

MTEB BIOSSES
- コサイン類似度のピアソン相関係数 (cos_sim_pearson): 76.44918756608115
- コサイン類似度のスピアマン相関係数 (cos_sim_spearman): 70.86607256286257
- ユークリッド距離のピアソン相関係数 (euclidean_pearson): 74.12154678100815
- ユークリッド距離のスピアマン相関係数 (euclidean_spearman): 70.86607256286257
- マンハッタン距離のピアソン相関係数 (manhattan_pearson): 74.0078626964417
- マンハッタン距離のスピアマン相関係数 (manhattan_spearman): 70.68353828321327