Splade Disco Human

🚀 DiSCo: 会話検索における効率的な疎検索のためのLLM知識蒸留

このモデルは、元のSPLADE++ (CoCondenser-EnsembleDistil)モデルを会話検索に適応させたものです。元の文書エンコーダーを保持し、多ターン会話検索用に設計されたQReCCデータセットを使ってクエリエンコーダーを微調整しています。

トレーニングは人間による書き換えからの蒸留を通じて行われ、モデルが会話型クエリの意味をよりよく捉えることができるようになります。詳細については、元の論文を参照してください。

• DiSCo SPLADE - SIGIR 2025 全文: https://arxiv.org/abs/2410.14609

⚠️ 重要提示

これはクエリエンコーダーです。推論を行うには、元のSPLADE++チェックポイントから変更されていない対応する文書エンコーダーも必要です。SPLADEは非対称アーキテクチャを使用できます。つまり、クエリと文書の表現に別々のモデルを使用します。

📦 インストール

完全な使用方法については、DiSCoのGitHubを参照してください [github]。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch.nn.functional as F
import torch


model = AutoModelForMaskedLM.from_pretrained("slupart/splade-disco-human")
tokenizer = AutoTokenizer.from_pretrained("slupart/splade-disco-human")
model.eval()

conv = [
    ("what's the weather like today?", "it's sunny."),
    ("should I wear sunscreen?", "yes, UV index is high."),
    ("do I need sunglasses?", "definitely."),
    ("where can I buy sunglasses?", "try the optician nearby."),
    ("how much do they cost?", None)
]

parts = [conv[-1][0]] + [x for q, a in reversed(conv[:-1]) for x in (a, q) if x]
text = " [SEP] ".join(parts)

inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits
sparse = F.relu(logits).max(1).values.squeeze(0)

scores = [(tokenizer.convert_ids_to_tokens([i.item()])[0], sparse[i].item())
          for i in torch.nonzero(sparse).squeeze(1)]
for token, score in sorted(scores, key=lambda x: -x[1]):
    print(f"Token: {token:15} | Score: {score:.4f}")

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。

📚 引用

もしこのチェックポイントを使用する場合は、以下のように引用してください。

@article{lupart2024disco,
  title={DiSCo Meets LLMs: A Unified Approach for Sparse Retrieval and Contextual Distillation in Conversational Search},
  author={Lupart, Simon and Aliannejadi, Mohammad and Kanoulas, Evangelos},
  journal={arXiv preprint arXiv:2410.14609},
  year={2024}
}