Vectorizer V1 S En

🚀 vectorizer-v1-S-en 模型卡片

vectorizer-v1-S-en 是由 Sinequa 開發的一款向量化器模型。它能夠根據給定的段落或查詢生成嵌入向量。段落向量會存儲在向量索引中，而查詢向量則用於在查詢時在索引中查找相關段落。

🚀 快速開始

本模型支持英文處理，下面為你詳細介紹其各項特性。

✨ 主要特性

• 語言支持：該模型經過訓練和測試，僅支持英文。
• 相關性得分：在 14 個檢索數據集上計算得到的相關性得分（Recall@100）平均為 0.456。
• 推理時間：在不同的 GPU 和量化類型下，模型具有不同的推理時間，具體如下表所示。
• GPU 內存使用：在 NVIDIA T4 GPU 上，批量大小為 32 時，FP16 量化類型的模型佔用約 300 MiB 內存，FP32 量化類型的模型佔用約 500 MiB 內存。

📚 詳細文檔

模型要求

• Sinequa 最低版本：11.10.0
• 使用 FP16 模型和 CUDA 計算能力為 8.9+ 的 GPU（如 NVIDIA L4）的 Sinequa 最低版本：11.11.0
• CUDA 計算能力：高於 5.0（使用 FP16 時高於 6.0）

模型詳情

概述

訓練數據

該模型在 Sinequa 整理的 Google Natural Questions 數據集上進行訓練。

評估指標

為了確定相關性得分，我們對 BEIR 基準 數據集的評估結果進行了平均。所有這些數據集均為英文。

🔧 技術細節

推理時間

GPU 內存使用

需要注意的是，GPU 內存使用僅包括在 NVIDIA T4 GPU 上批量大小為 32 時實際模型消耗的 GPU 內存，不包括 ONNX Runtime 初始化時消耗的固定內存，該內存根據使用的 GPU 不同，大約在 0.5 到 1 GiB 之間。