doc2query-t5-base-msmarcoオープンソースドキュメント拡張モデル - 潜在的なクエリを生成して検索効果を強化

ホーム

Doc2query T5 Base Msmarco

macavaneyによって開発

T5-baseアーキテクチャに基づくドキュメント拡張モデルで、MS MARCOデータセットでトレーニングされ、ドキュメント内容に関連する潜在的なクエリを生成して検索効果を強化します

テキスト埋め込み

Transformers

英語#ドキュメントクエリ拡張 #検索強化 #T5ファインチューニング

ダウンロード数 341

リリース時間 : 10/27/2022

モデル概要

このモデルはドキュメント内容を分析して関連クエリを自動生成し、元のドキュメントを拡張して情報検索システムの再現率を向上させます。主にドキュメント検索強化シナリオに適用されます。

モデル特徴

ドキュメント拡張機能

入力ドキュメントに対して関連クエリを自動生成し、ドキュメント内容を効果的に拡張します

検索強化

生成されたクエリで元のドキュメントを拡張し、検索システムの再現率を大幅に向上させます

即時利用可能

事前トレーニング済みのPyTorch形式モデルを提供し、PyTerrier検索フレームワークに直接統合できます

モデル能力

ドキュメント内容分析

クエリ生成

検索システム強化

使用事例

情報検索

ドキュメント検索システム強化

ドキュメントインデックス構築前にモデルを使用してドキュメント内容を拡張

関連クエリに対する検索システムの再現率を向上

学術文献検索

学術論文に対して関連検索語を自動生成

ユーザーがより多くの関連文献を発見するのを支援

🚀 Doc2Queryモデル (t5-baseベース、MS MARCOで訓練)

このモデルはt5-baseをベースに、MS MARCOで訓練されたDoc2Queryモデルです。これは元の著者が公開したチェックポイントのバージョンで、pytorch形式に変換され、pyterrier_doc2queryで使用できるようになっています。

🚀 クイックスタート

トランスフォーマーの作成

import pyterrier as pt
pt.init()
from pyterrier_doc2query import Doc2Query
doc2query = Doc2Query('macavaney/doc2query-t5-base-msmarco')

ドキュメントの変換

import pandas as pd
doc2query(pd.DataFrame([
  {'docno': '0', 'text': 'Hello Terrier!'},
  {'docno': '1', 'text': 'Doc2Query expands queries with potentially relevant queries.'},
]))
# docno                                               text                                           querygen
#    0                                     Hello Terrier!  hello terrier what kind of dog is a terrier wh...
#    1  Doc2Query expands queries with potentially rel...  can dodoc2query extend query query? what is do...

変換されたドキュメントのインデックス作成

doc2query.append = True # append querygen to text
indexer = pt.IterDictIndexer('./my_index', fields=['text'])
pipeline = doc2query >> indexer
pipeline.index([
  {'docno': '0', 'text': 'Hello Terrier!'},
  {'docno': '1', 'text': 'Doc2Query expands queries with potentially relevant queries.'},
])

データセットの拡張とインデックス作成

dataset = pt.get_dataset('irds:vaswani')
pipeline.index(dataset.get_corpus_iter())

📚 ドキュメント

参考資料

[Nogueira20]: Rodrigo Nogueira and Jimmy Lin. From doc2query to docTTTTTquery. https://cs.uwaterloo.ca/~jimmylin/publications/Nogueira_Lin_2019_docTTTTTquery-v2.pdf
[Macdonald20]: Craig Macdonald, Nicola Tonellotto. Declarative Experimentation in Information Retrieval using PyTerrier. Craig Macdonald and Nicola Tonellotto. In Proceedings of ICTIR 2020. https://arxiv.org/abs/2007.14271