Llm2vec Sheared LLaMA Mntp Supervised

🚀 peft

peft 库专注于句子相似度相关任务，提供文本嵌入、信息检索、文本分类等多种功能。在多个数据集和任务中展现了良好的性能，为自然语言处理相关应用提供了有力支持。

📚 详细文档

模型指标信息

模型 LLM2Vec-Sheared-LLaMA-supervised 的结果

分类任务

• MTEB AmazonCounterfactualClassification (en)
  • 准确率：77.41791044776119
  • AP：41.45458580415683
  • F1：71.63305447032735
• MTEB AmazonPolarityClassification
  • 准确率：82.0527
  • AP：77.3222852456055
  • F1：81.97981459031165
• MTEB AmazonReviewsClassification (en)
  • 准确率：40.806000000000004
  • F1：40.3299129176701

检索任务

• MTEB ArguAna
  • MAP@1：25.391000000000002
  • MAP@10：41.919000000000004
  • ...（其他指标省略）
• MTEB CQADupstackAndroidRetrieval
  • MAP@1：33.043
  • MAP@10：44.515
  • ...（其他指标省略）
• MTEB CQADupstackEnglishRetrieval
  • MAP@1：31.924000000000003
  • MAP@10：42.298
  • ...（其他指标省略）
• MTEB CQADupstackGamingRetrieval
  • MAP@1：40.721000000000004
  • MAP@10：53.053
  • ...（其他指标省略）
• MTEB CQADupstackGisRetrieval
  • MAP@1：24.938
  • MAP@10：34.027
  • ...（其他指标省略）
• MTEB CQADupstackMathematicaRetrieval
  • MAP@1：15.565999999999999
  • MAP@10：23.419999999999998
  • ...（其他指标省略）
• MTEB CQADupstackPhysicsRetrieval
  • MAP@1：30.834
  • MAP@10：41.49
  • ...（其他指标省略）
• MTEB CQADupstackProgrammersRetrieval
  • MAP@1：28.549000000000003
  • MAP@10：38.796
  • ...（其他指标省略）
• MTEB CQADupstackRetrieval
  • MAP@1：26.897333333333336
  • MAP@10：36.28758333333334
  • ...（其他指标省略）
• MTEB CQADupstackStatsRetrieval
  • MAP@1：23.544
  • MAP@10：30.85
  • ...（其他指标省略）

聚类任务

• MTEB ArxivClusteringP2P
  • V-measure：43.472186058302285
• MTEB ArxivClusteringS2S
  • V-measure：39.846039374129546
• MTEB BiorxivClusteringP2P
  • V-measure：37.102075665637685
• MTEB BiorxivClusteringS2S
  • V-measure：34.27583239919031

重排序任务

• MTEB AskUbuntuDupQuestions
  • MAP：60.713811638804174
  • MRR：73.38906476718111

STS 任务

• MTEB BIOSSES
  • 余弦相似度斯皮尔曼相关系数：85.88328221005123

📄 许可证

本项目采用 MIT 许可证。