Query Gen Msmarco T5 Base V1

🚀 クエリ生成

このモデルは、docTTTTTquery の t5-base モデルです。

T5-base モデルは、MS MARCO Passage Dataset で学習されました。このデータセットには、Bing からの約 50 万件の実際の検索クエリと関連するパッセージが含まれています。

このモデルは、注釈付きのトレーニングデータを必要とせずに、意味検索モデルを学習するためのクエリ生成に使用できます。詳細は Synthetic Query Generation を参照してください。

🚀 クイックスタート

このモデルを使用することで、注釈付きのトレーニングデータを必要とせずに、意味検索モデルを学習するためのクエリ生成を行うことができます。

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('model-name')
model = T5ForConditionalGeneration.from_pretrained('model-name')

para = "Python is an interpreted, high-level and general-purpose programming language. Python's design philosophy emphasizes code readability with its notable use of significant whitespace. Its language constructs and object-oriented approach aim to help programmers write clear, logical code for small and large-scale projects."

input_ids = tokenizer.encode(para, return_tensors='pt')
outputs = model.generate(
	input_ids=input_ids,
	max_length=64,
	do_sample=True,
	top_p=0.95,
	num_return_sequences=3)

print("Paragraph:")
print(para)

print("\nGenerated Queries:")
for i in range(len(outputs)):
	query = tokenizer.decode(outputs[i], skip_special_tokens=True)
	print(f'{i + 1}: {query}')