Vectorizer.vanilla

🚀 vectorizer.vanilla 模型卡片

vectorizer.vanilla 是由 Sinequa 開發的矢量化器模型。它能根據給定的段落或查詢生成嵌入向量。段落向量會存儲在向量索引中，而查詢向量則用於在查詢時從索引中查找相關段落。

🚀 快速開始

本模型可用於生成段落或查詢的嵌入向量，在信息檢索等場景中發揮作用。

✨ 主要特性

• 支持英文輸入，可對英文段落和查詢進行矢量化處理。
• 對大小寫和重音不敏感，具有較好的魯棒性。
• 輸出維度為 256，通過額外的密集層進行降維。

📦 安裝指南

環境要求

• 最低 Sinequa 版本：11.10.0
• 若使用 FP16 模型和 CUDA 計算能力為 8.9+ 的 GPU（如 NVIDIA L4），最低 Sinequa 版本：11.11.0
• Cuda 計算能力：高於 5.0（使用 FP16 時需高於 6.0）

📚 詳細文檔

支持的語言

該模型在以下語言上進行了訓練和測試：

• 英語

評估指標

相關性得分

請注意，相關性得分是在 14 個檢索數據集上的平均值（詳見下方詳情）。

推理時間

GPU 內存使用情況

請注意，GPU 內存使用情況僅包括在批量大小為 32 的 NVIDIA T4 GPU 上實際模型消耗的 GPU 內存。它不包括 ONNX Runtime 初始化時消耗的固定內存，該內存根據使用的 GPU 不同，大約在 0.5 到 1 GiB 之間。

模型詳情

概述

• 參數數量：2300 萬
• 基礎語言模型：English MiniLM-L6-H384
• 對大小寫和重音不敏感
• 輸出維度：256（通過額外的密集層降維）
• 訓練過程：對於有挖掘到難負樣本數據的數據集，使用查詢 - 段落 - 負樣本三元組；其餘數據集使用查詢 - 段落對。負樣本數量通過批量內負樣本策略進行擴充。

訓練數據

該模型使用了 all-MiniLM-L6-v2 模型中引用的所有數據集進行訓練。

評估指標詳情

為了確定相關性得分，我們對在 BEIR 基準 的數據集上評估得到的結果進行了平均。請注意，所有這些數據集均為英文。