Query2query

🚀 query2query

このモデルはsentence-transformersをベースとしており、クエリを384次元の密ベクトル空間にマッピングします。クラスタリングやクエリに対する意味検索などのタスクに使用できます。

詳細についてはこちらの発表ブログをご覧ください: https://neeva.com/blog/state-of-the-art-query2query-similarity(https://neeva.com/blog/state-of-the-art-query2query-similarity)

⚠️ 重要提示

このモデルは商用利用を禁止するライセンスで公開されています。商用目的で使用したい場合は、contact@neeva.co または rajhans@neeva.co まで使用目的の簡単な説明を添えてご連絡ください。できる限り迅速に対応いたします。

🚀 クイックスタート

このモデルは、sentence-transformersをインストールすることで簡単に使用できます。

📦 インストール

pip install -U sentence-transformers

💻 使用例

基本的な使用法

from sentence_transformers import SentenceTransformer
queries = ["flight cost from nyc to la", "ticket prices from nyc to la"]

model = SentenceTransformer('neeva/query2query')
embeddings = model.encode(queries)
print(embeddings)

🔧 技術詳細

学習

このモデルは、バッチサイズ1024、学習率2e-5で100万ステップ学習されました。学習率スケジューラにはコサインスケジューラを使用し、ウォームアップステップは10000でした。

全モデルアーキテクチャ

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: DataParallel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Normalize()
)

📄 ライセンス

このモデルは cc-by-nc-sa-4.0 ライセンスの下で公開されています。