Llm2vec Meta Llama 3 8B Instruct Mntp Supervised

🚀 PEFT庫

PEFT庫專注於句子相似度等自然語言處理任務，支持文本嵌入、信息檢索、文本分類等多種應用場景，為相關領域的研究和開發提供了有力支持。

📄 許可證

本項目採用MIT許可證。

📚 詳細文檔

模型信息

評估結果

分類任務

• MTEB AmazonCounterfactualClassification (en)
  • 準確率：79.94029850746269
  • 平均精度（AP）：44.93223506764482
  • F1值：74.30328994013465
• MTEB AmazonPolarityClassification
  • 準確率：86.06680000000001
  • 平均精度（AP）：81.97124658709345
  • F1值：86.00558036874241
• MTEB AmazonReviewsClassification (en)
  • 準確率：46.836
  • F1值：46.05094679201488
• MTEB Banking77Classification
  • 準確率：88.0487012987013
  • F1值：88.00953788281542

檢索任務

• MTEB ArguAna
  • 平均準確率均值（MAP）相關指標：
    • MAP@1：37.980000000000004
    • MAP@10：54.167
    • MAP@100：54.735
    • MAP@1000：54.738
    • MAP@3：49.384
    • MAP@5：52.285000000000004
  • 平均倒數排名（MRR）相關指標：
    • MRR@1：38.549
    • MRR@10：54.351000000000006
    • MRR@100：54.932
    • MRR@1000：54.935
    • MRR@3：49.585
    • MRR@5：52.469
  • 歸一化折損累積增益（NDCG）相關指標：
    • NDCG@1：37.980000000000004
    • NDCG@10：62.778999999999996
    • NDCG@100：64.986
    • NDCG@1000：65.036
    • NDCG@3：53.086999999999996
    • NDCG@5：58.263
  • 精確率（Precision）相關指標：
    • Precision@1：37.980000000000004
    • Precision@10：9.011
    • Precision@100：0.993
    • Precision@1000：0.1
    • Precision@3：21.266
    • Precision@5：15.248999999999999
  • 召回率（Recall）相關指標：
    • Recall@1：37.980000000000004
    • Recall@10：90.114
    • Recall@100：99.289
    • Recall@1000：99.644
    • Recall@3：63.798
    • Recall@5：76.24499999999999
• 其他檢索任務（如CQADupstack系列數據集）也有相應的評估指標，具體數值可參考原文檔。

聚類任務

• MTEB ArxivClusteringP2P
  • V - measure：44.27081216556421
• MTEB ArxivClusteringS2S
  • V - measure：46.8490872532913

重排序任務

• MTEB AskUbuntuDupQuestions
  • 平均準確率均值（MAP）：65.18525400430678
  • 平均倒數排名（MRR）：78.80149936244119

語義文本相似度（STS）任務

• MTEB BIOSSES
  • 餘弦相似度斯皮爾曼相關係數：84.92301936595548