Msmarco T5 Base V1

🚀 doc2query/msmarco-t5-base-v1

このモデルは、T5に基づくdoc2queryモデル（docT5queryとも呼ばれます）です。 このモデルは、以下の用途に使用できます。

• 文書拡張：段落から20 - 40個のクエリを生成し、それらを段落とともにElasticsearch、OpenSearch、Luceneなどの標準的なBM25インデックスに登録します。生成されたクエリには同義語が含まれるため、語彙検索の語彙ギャップを埋めることができます。さらに、重要な単語には高い重みを与え、段落内であまり出現しない単語でも適切に重み付けされます。BEIR論文では、BM25+docT5queryが強力な検索エンジンであることを示しています。BEIRリポジトリには、PyseriniでdocT5queryを使用する例があります。
• ドメイン固有のトレーニングデータ生成：埋め込みモデルを学習するためのトレーニングデータを生成するために使用できます。SBERT.netには、与えられたラベルのないテキストコレクションから（クエリ、テキスト）のペアを生成するためのモデルの使用例があります。これらのペアは、強力な密埋め込みモデルをトレーニングするために使用できます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

model_name = 'doc2query/msmarco-t5-base-v1'
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

text = "Python is an interpreted, high-level and general-purpose programming language. Python's design philosophy emphasizes code readability with its notable use of significant whitespace. Its language constructs and object-oriented approach aim to help programmers write clear, logical code for small and large-scale projects."


input_ids = tokenizer.encode(text, max_length=320, truncation=True, return_tensors='pt')
outputs = model.generate(
    input_ids=input_ids,
    max_length=64,
    do_sample=True,
    top_p=0.95,
    num_return_sequences=5)

print("Text:")
print(text)

print("\nGenerated Queries:")
for i in range(len(outputs)):
    query = tokenizer.decode(outputs[i], skip_special_tokens=True)
    print(f'{i + 1}: {query}')

⚠️ 重要提示

model.generate() は非決定的です。実行するたびに異なるクエリが生成されます。

🔧 技術詳細

このモデルは、google/t5-v1_1-baseを31kステップ（MS MARCOの500kのトレーニングペアに対して約4エポック）でファインチューニングしたものです。トレーニングスクリプトについては、このリポジトリの train_script.py を参照してください。

入力テキストは320単語片に切り捨てられ、出力テキストは最大64単語片まで生成されます。

このモデルは、MS MARCO Passage-Rankingデータセットの（クエリ、パッセージ）ペアでトレーニングされています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。