Vectorizer.vanilla

🚀 vectorizer.vanilla モデルカード

このモデルはSinequaによって開発されたベクトライザーです。文章やクエリを入力すると、埋め込みベクトルを生成します。文章ベクトルはベクトルインデックスに保存され、クエリベクトルはクエリ時にインデックス内の関連する文章を検索するために使用されます。

モデル名: vectorizer.vanilla

🚀 クイックスタート

このモデルは文章やクエリから埋め込みベクトルを生成し、文章ベクトルをインデックスに保存し、クエリベクトルを使って関連文章を検索するために利用できます。

✨ 主な機能

• 文章やクエリから埋め込みベクトルを生成する。
• 生成した文章ベクトルをベクトルインデックスに保存する。
• クエリベクトルを使ってインデックス内の関連文章を検索する。

📚 ドキュメント

サポートされる言語

このモデルは以下の言語で訓練およびテストされています。

• 英語

スコア

関連性スコアは14の検索データセットにわたる平均値として計算されています（評価指標の詳細を参照）。

推論時間

GPUメモリ使用量

GPUメモリ使用量は、バッチサイズ32のNVIDIA T4 GPU上で実際のモデルが消費するGPUメモリの量のみを含みます。ONNX Runtimeが初期化時に消費する固定メモリ量（使用するGPUによって0.5から1 GiB程度）は含まれません。

要件

• 最小Sinequaバージョン: 11.10.0
• FP16モデルとCUDAコンピュートキャパビリティ8.9以上のGPU（NVIDIA L4など）を使用するための最小Sinequaバージョン: 11.11.0
• Cudaコンピュートキャパビリティ: 5.0以上（FP16使用時は6.0以上）

モデルの詳細

概要

• パラメータ数: 2300万
• ベース言語モデル: English MiniLM-L6-H384
• 大文字小文字とアクセントに非依存
• 出力次元: 256（追加の全結合層で縮小）
• 訓練手順: マイニングされたハードネガティブデータを持つデータセットについてはクエリ - 文章 - ネガティブのトリプレット、それ以外についてはクエリ - 文章のペア。ネガティブの数はバッチ内ネガティブ戦略で増やされています。

訓練データ

このモデルは、all-MiniLM-L6-v2モデルで引用されているすべてのデータセットを使用して訓練されています。

評価指標

関連性スコアを決定するために、BEIRベンチマークのデータセットで評価した結果を平均しています。すべてのデータセットは英語です。