T5 Query Reformulation RL

🚀 クイックスタート

このモデルは、検索クエリの書き換えに特化した生成モデルです。シーケンス-to-シーケンスのアーキテクチャを用いて、書き換えられたクエリを生成します。また、強化学習フレームワークを活用して性能を向上させ、ポリシー勾配アルゴリズムを統合しています。

✨ 主な機能

• 検索クエリの書き換えに特化した生成モデルです。
• 強化学習フレームワークを用いて性能を向上させています。
• キーワードの言い換えにより、生成されるクエリの多様性を高めることができます。
• 疎な検索方法（bm25ベースの検索など）と統合して、検索における文書のリコール率を向上させることができます。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

import torch
from transformers import T5ForConditionalGeneration, T5Tokenizer

MODEL_ID = "prhegde/t5-query-reformulation-RL"

tokenizer = T5Tokenizer.from_pretrained(MODEL_ID)
model = T5ForConditionalGeneration.from_pretrained(MODEL_ID)
model.eval()

input_sequence = "how to bake great cookie"
input_ids = tokenizer(input_sequence, return_tensors="pt").input_ids
print(f'Input: {input_sequence}')

nsent = 4
with torch.no_grad():
    for i in range(nsent):
        output = model.generate(input_ids, max_length=35, num_beams=1, do_sample=True, repetition_penalty=1.8)
        target_sequence = tokenizer.decode(output[0], skip_special_tokens=True)
        print(f'Target: {target_sequence}')

📚 ドキュメント

想定される使用ケース

• 検索（ウェブ、電子商取引）のクエリ書き換え
• バーチャルアシスタントやチャットボット
• 情報検索

モデルの説明

トレーニング手順

1. トレーニングプロセスは、GoogleのT5-baseモデルでシーケンス-to-シーケンスモデルを初期化することから始まります。
2. 最初に、モデルはMS-MARCOクエリペアデータセットを使用して教師ありトレーニングを受けます。
3. その後、モデルは強化学習（RL）フレームワークを使用して微調整され、多様で関連性の高いクエリを生成する能力が向上します。
4. モデルを微調整するためにポリシー勾配アプローチを使用します。与えられた入力クエリに対して、モデルから一連の軌跡（書き換えられたクエリ）がサンプリングされ、報酬が計算されます。ポリシー勾配アルゴリズムが適用されてモデルが更新されます。
5. 報酬は、モデルの言い換え能力を向上させるためにヒューリスティックに計算されます。ただし、これらの報酬は、必要に応じて他のドメイン固有または目標固有の報酬関数に置き換えることができます。

詳細については、こちらを参照してください。

モデルのソース

• リポジトリ: https://github.com/PraveenSH/RL-Query-Reformulation

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。