Llm2vec Sheared LLaMA Mntp Supervised

🚀 peft

peft 庫專注於句子相似度相關任務，提供文本嵌入、信息檢索、文本分類等多種功能。在多個數據集和任務中展現了良好的性能，為自然語言處理相關應用提供了有力支持。

📚 詳細文檔

模型指標信息

模型 LLM2Vec-Sheared-LLaMA-supervised 的結果

分類任務

• MTEB AmazonCounterfactualClassification (en)
  • 準確率：77.41791044776119
  • AP：41.45458580415683
  • F1：71.63305447032735
• MTEB AmazonPolarityClassification
  • 準確率：82.0527
  • AP：77.3222852456055
  • F1：81.97981459031165
• MTEB AmazonReviewsClassification (en)
  • 準確率：40.806000000000004
  • F1：40.3299129176701

檢索任務

• MTEB ArguAna
  • MAP@1：25.391000000000002
  • MAP@10：41.919000000000004
  • ...（其他指標省略）
• MTEB CQADupstackAndroidRetrieval
  • MAP@1：33.043
  • MAP@10：44.515
  • ...（其他指標省略）
• MTEB CQADupstackEnglishRetrieval
  • MAP@1：31.924000000000003
  • MAP@10：42.298
  • ...（其他指標省略）
• MTEB CQADupstackGamingRetrieval
  • MAP@1：40.721000000000004
  • MAP@10：53.053
  • ...（其他指標省略）
• MTEB CQADupstackGisRetrieval
  • MAP@1：24.938
  • MAP@10：34.027
  • ...（其他指標省略）
• MTEB CQADupstackMathematicaRetrieval
  • MAP@1：15.565999999999999
  • MAP@10：23.419999999999998
  • ...（其他指標省略）
• MTEB CQADupstackPhysicsRetrieval
  • MAP@1：30.834
  • MAP@10：41.49
  • ...（其他指標省略）
• MTEB CQADupstackProgrammersRetrieval
  • MAP@1：28.549000000000003
  • MAP@10：38.796
  • ...（其他指標省略）
• MTEB CQADupstackRetrieval
  • MAP@1：26.897333333333336
  • MAP@10：36.28758333333334
  • ...（其他指標省略）
• MTEB CQADupstackStatsRetrieval
  • MAP@1：23.544
  • MAP@10：30.85
  • ...（其他指標省略）

聚類任務

• MTEB ArxivClusteringP2P
  • V-measure：43.472186058302285
• MTEB ArxivClusteringS2S
  • V-measure：39.846039374129546
• MTEB BiorxivClusteringP2P
  • V-measure：37.102075665637685
• MTEB BiorxivClusteringS2S
  • V-measure：34.27583239919031

重排序任務

• MTEB AskUbuntuDupQuestions
  • MAP：60.713811638804174
  • MRR：73.38906476718111

STS 任務

• MTEB BIOSSES
  • 餘弦相似度斯皮爾曼相關係數：85.88328221005123

📄 許可證

本項目採用 MIT 許可證。