Llm2vec Meta Llama 3 8B Instruct Mntp Supervised

🚀 PEFT库

PEFT库专注于句子相似度等自然语言处理任务，支持文本嵌入、信息检索、文本分类等多种应用场景，为相关领域的研究和开发提供了有力支持。

📄 许可证

本项目采用MIT许可证。

📚 详细文档

模型信息

评估结果

分类任务

• MTEB AmazonCounterfactualClassification (en)
  • 准确率：79.94029850746269
  • 平均精度（AP）：44.93223506764482
  • F1值：74.30328994013465
• MTEB AmazonPolarityClassification
  • 准确率：86.06680000000001
  • 平均精度（AP）：81.97124658709345
  • F1值：86.00558036874241
• MTEB AmazonReviewsClassification (en)
  • 准确率：46.836
  • F1值：46.05094679201488
• MTEB Banking77Classification
  • 准确率：88.0487012987013
  • F1值：88.00953788281542

检索任务

• MTEB ArguAna
  • 平均准确率均值（MAP）相关指标：
    • MAP@1：37.980000000000004
    • MAP@10：54.167
    • MAP@100：54.735
    • MAP@1000：54.738
    • MAP@3：49.384
    • MAP@5：52.285000000000004
  • 平均倒数排名（MRR）相关指标：
    • MRR@1：38.549
    • MRR@10：54.351000000000006
    • MRR@100：54.932
    • MRR@1000：54.935
    • MRR@3：49.585
    • MRR@5：52.469
  • 归一化折损累积增益（NDCG）相关指标：
    • NDCG@1：37.980000000000004
    • NDCG@10：62.778999999999996
    • NDCG@100：64.986
    • NDCG@1000：65.036
    • NDCG@3：53.086999999999996
    • NDCG@5：58.263
  • 精确率（Precision）相关指标：
    • Precision@1：37.980000000000004
    • Precision@10：9.011
    • Precision@100：0.993
    • Precision@1000：0.1
    • Precision@3：21.266
    • Precision@5：15.248999999999999
  • 召回率（Recall）相关指标：
    • Recall@1：37.980000000000004
    • Recall@10：90.114
    • Recall@100：99.289
    • Recall@1000：99.644
    • Recall@3：63.798
    • Recall@5：76.24499999999999
• 其他检索任务（如CQADupstack系列数据集）也有相应的评估指标，具体数值可参考原文档。

聚类任务

• MTEB ArxivClusteringP2P
  • V - measure：44.27081216556421
• MTEB ArxivClusteringS2S
  • V - measure：46.8490872532913

重排序任务

• MTEB AskUbuntuDupQuestions
  • 平均准确率均值（MAP）：65.18525400430678
  • 平均倒数排名（MRR）：78.80149936244119

语义文本相似度（STS）任务

• MTEB BIOSSES
  • 余弦相似度斯皮尔曼相关系数：84.92301936595548