Vectorizer V1 S Multilingual

🚀 vectorizer-v1-S-multilingual 模型卡片

vectorizer-v1-S-multilingual 是由 Sinequa 開發的一款向量化器。它可以根據給定的段落或查詢生成嵌入向量。段落向量會存儲在向量索引中，而查詢向量則用於在查詢時在索引中查找相關段落。

🚀 快速開始

本模型可用於生成文本的嵌入向量，支持多種語言，適用於文本相似度計算等場景。

✨ 主要特性

• 多語言支持：支持英語、法語、德語和西班牙語。
• 大小寫和重音不敏感：在處理文本時不受大小寫和重音的影響。

📦 安裝指南

環境要求

• 最低 Sinequa 版本：11.10.0
• 若要使用 FP16 模型以及具有 CUDA 計算能力 8.9+ 的 GPU（如 NVIDIA L4），最低 Sinequa 版本為 11.11.0
• Cuda 計算能力：高於 5.0（使用 FP16 時需高於 6.0）

💻 使用示例

本 README 未提供代碼示例，若有使用需求，可參考 Sinequa 官方文檔或相關開發指南。

📚 詳細文檔

支持的語言

該模型在以下語言上進行了訓練和測試：

• 英語
• 法語
• 德語
• 西班牙語

分數

請注意，相關性分數是在 14 個檢索數據集上的平均值（詳見評估指標）。

推理時間

GPU 內存使用情況

請注意，GPU 內存使用情況僅包括在批量大小為 32 的 NVIDIA T4 GPU 上實際模型消耗的 GPU 內存。它不包括 ONNX Runtime 初始化時消耗的固定內存量，該內存量根據使用的 GPU 不同，大約在 0.5 到 1 GiB 之間。

模型詳情

概述

• 參數數量：3900 萬
• 基礎語言模型：Sinequa 自研的 BERT-Small（論文），在四種支持的語言上進行了預訓練
• 大小寫和重音不敏感
• 訓練過程：使用批次內負樣本的查詢 - 段落對

訓練數據

• 自然問題數據集 (論文, 官方頁面)
  • 原始英語數據集
  • 其他三種支持語言的翻譯數據集

評估指標

為了確定相關性分數，我們對在 BEIR 基準 數據集上的評估結果進行了平均。請注意，所有這些數據集均為英語。

我們在 MIRACL 基準 的數據集上對模型進行了評估，以測試其多語言能力。請注意，並非所有訓練語言都包含在該基準中，因此我們僅報告現有語言的指標。