Bge Large En V1.5 Quant

🚀 bge-large-en-v1.5-quant

bge-large-en-v1.5-quant 是一個經過量化（INT8）的 ONNX 變體嵌入模型，藉助 Sparsify 進行量化加速，利用 DeepSparseSentenceTransformers 進行推理，能有效提升推理性能。

🚀 快速開始

DeepSparse 能夠在 10 核筆記本電腦上將延遲性能提高 4.8 倍，在 16 核 AWS 實例上最高可提高 3.5 倍。

安裝依賴

pip install -U deepsparse-nightly[sentence_transformers]

使用示例

from deepsparse.sentence_transformers import DeepSparseSentenceTransformer
model = DeepSparseSentenceTransformer('neuralmagic/bge-large-en-v1.5-quant', export=False)

# 待編碼的句子
sentences = ['This framework generates embeddings for each input sentence',
    'Sentences are passed as a list of string.',
    'The quick brown fox jumps over the lazy dog.']

# 通過調用 model.encode() 對句子進行編碼
embeddings = model.encode(sentences)

# 打印嵌入向量
for sentence, embedding in zip(sentences, embeddings):
    print("Sentence:", sentence)
    print("Embedding:", embedding.shape)
    print("")

對於這些模型和稀疏化方法的一般性問題，可通過我們的 社區 Slack 聯繫工程團隊。

📚 詳細文檔

模型信息

評估結果

分類任務（Classification）

• 數據集：MTEB AmazonCounterfactualClassification (en)
• 評估指標：
  • 準確率（accuracy）：75.53731343283583
  • 平均精度（ap）：38.30609312253564
  • F1 值（f1）：69.42802757893695

語義文本相似度任務（STS）

• 數據集：多個 MTEB STS 相關數據集，如 MTEB BIOSSES、MTEB SICK - R 等
• 評估指標：
  • 餘弦相似度皮爾遜相關係數（cos_sim_pearson）：不同數據集結果不同，如 MTEB BIOSSES 為 89.27346145216443
  • 餘弦相似度斯皮爾曼相關係數（cos_sim_spearman）：不同數據集結果不同
  • 歐幾里得距離皮爾遜相關係數（euclidean_pearson）：不同數據集結果不同
  • 歐幾里得距離斯皮爾曼相關係數（euclidean_spearman）：不同數據集結果不同
  • 曼哈頓距離皮爾遜相關係數（manhattan_pearson）：不同數據集結果不同
  • 曼哈頓距離斯皮爾曼相關係數（manhattan_spearman）：不同數據集結果不同

成對分類任務（PairClassification）

• 數據集：多個 MTEB 成對分類相關數據集，如 MTEB SprintDuplicateQuestions、MTEB TwitterSemEval2015 等
• 評估指標：
  • 餘弦相似度準確率（cos_sim_accuracy）：不同數據集結果不同，如 MTEB SprintDuplicateQuestions 為 99.84752475247525
  • 餘弦相似度平均精度（cos_sim_ap）：不同數據集結果不同
  • 餘弦相似度 F1 值（cos_sim_f1）：不同數據集結果不同
  • 餘弦相似度精確率（cos_sim_precision）：不同數據集結果不同
  • 餘弦相似度召回率（cos_sim_recall）：不同數據集結果不同
  • 點積準確率（dot_accuracy）：不同數據集結果不同
  • 點積平均精度（dot_ap）：不同數據集結果不同
  • 點積 F1 值（dot_f1）：不同數據集結果不同
  • 點積精確率（dot_precision）：不同數據集結果不同
  • 點積召回率（dot_recall）：不同數據集結果不同
  • 歐幾里得距離準確率（euclidean_accuracy）：不同數據集結果不同
  • 歐幾里得距離平均精度（euclidean_ap）：不同數據集結果不同
  • 歐幾里得距離 F1 值（euclidean_f1）：不同數據集結果不同
  • 歐幾里得距離精確率（euclidean_precision）：不同數據集結果不同
  • 歐幾里得距離召回率（euclidean_recall）：不同數據集結果不同
  • 曼哈頓距離準確率（manhattan_accuracy）：不同數據集結果不同
  • 曼哈頓距離平均精度（manhattan_ap）：不同數據集結果不同
  • 曼哈頓距離 F1 值（manhattan_f1）：不同數據集結果不同
  • 曼哈頓距離精確率（manhattan_precision）：不同數據集結果不同
  • 曼哈頓距離召回率（manhattan_recall）：不同數據集結果不同

📄 許可證

本項目採用 MIT 許可證。