オープンソースのdpr-question_encoderモデル - 検索性能を最適化し、長形式の質問応答タスクに特化して設計

ホーム

Dpr Question Encoder Single Lfqa Wiki

vblagojeによって開発

DPRアーキテクチャに基づく質問エンコーダーモデルで、長文質問応答（LFQA）タスク向けに設計され、二段階トレーニングで検索性能を最適化

質問応答システム

Transformers

英語オープンソースライセンス:MIT #長文質問応答検索 #ウィキペディア知識ベース #二段階ファインチューニング

ダウンロード数 588

リリース時間 : 3/2/2022

モデル概要

このモデルはTransformerのプーリング出力を質問表現として利用し、大規模知識ベースから長文質問に関連する回答段落を検索することを主目的とする

モデル特徴

二段階トレーニング戦略

第1段階でLFQAデータセットを使用したファインチューニングを行い、第2段階でウィキペディアインデックスを導入してより優れたトレーニングサンプルを構築

困難なネガティブサンプル最適化

慎重に設計されたネガティブサンプル選択戦略（コサイン類似度0.55-0.65範囲）によりモデルの識別能力を向上

クロスエンコーダー強化

第2段階でSBertクロスエンコーダーを使用して候補回答を評価し、高品質なポジティブ/ネガティブサンプルを選別

モデル能力

質問ベクトルエンコーディング

意味的類似度計算

オープンドメイン検索

長文質問応答サポート

使用事例

知識検索システム

ウィキペディア質問応答システム

ウィキペディアから複雑な質問に最も関連する回答段落を検索

従来のキーワード検索に代わり、意味的にマッチする結果を提供

教育支援

学習アシスタント

学生が複雑な概念を詳細に説明する長文回答を検索するのを支援

簡単な質問応答よりも包括的な知識説明を提供

🚀 質問エンコーダモデル

このモデルは、DPRQuestionEncoder アーキテクチャに基づいた質問エンコーダモデルです。Transformerのプーラー出力を質問表現として使用します。詳細については、ブログ記事を参照してください。

🚀 クイックスタート

このモデルは、質問エンコーダとして機能し、Transformerのプーラー出力を質問表現として使用します。以下に使用方法の概要を示します。

✨ 主な機能

DPRQuestionEncoder アーキテクチャに基づいています。
Transformerのプーラー出力を質問表現として使用します。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import DPRContextEncoder, DPRContextEncoderTokenizer

model = DPRQuestionEncoder.from_pretrained("vblagoje/dpr-question_encoder-single-lfqa-wiki").to(device)
tokenizer = AutoTokenizer.from_pretrained("vblagoje/dpr-question_encoder-single-lfqa-wiki")

input_ids = tokenizer("Why do airplanes leave contrails in the sky?", return_tensors="pt")["input_ids"]
embeddings = model(input_ids).pooler_output

📚 ドキュメント

導入

この質問エンコーダモデルは、DPRQuestionEncoder アーキテクチャに基づいています。Transformerのプーラー出力を質問表現として使用します。詳細については、ブログ記事を参照してください。

学習

私たちは、FAIRのdpr-scaleを使用して、vblagoje/dpr-question_encoder-single-lfqa-wikiを2段階で学習させました。最初の段階では、PAQベースの事前学習チェックポイントを使用し、LFQAデータセットの質問 - 回答ペアでリトリーバを微調整しました。dpr-scaleは、正例、負例、ハードネガティブ例を含むDPR形式の学習セット入力を必要とするため、回答を正例とし、負例を質問と無関係な回答とし、ハードネガティブ例をコサイン類似度が0.55から0.65の質問の回答から選択して学習ファイルを作成しました。

2段階目では、LFQAデータセットの回答ではなく、1段階目で作成したWikipedia/Faissインデックスから正例、負例、ハードネガティブ例を使用して、新しいDPR学習セットを作成しました。具体的には、各データセットの質問に対して、1段階目のWikipedia Faissインデックスをクエリし、その後SBertクロスエンコーダを使用して質問/回答（パッセージ）ペアをtopk = 50でスコアリングしました。クロスエンコーダは、最も高いスコアの正例パッセージを選択し、下位7つの回答をハードネガティブとして選択しました。負例は、与えられたデータセットの質問と無関係な回答として選択されました。Wikipedia由来の正例、負例、ハードネガティブパッセージを含むDPR形式の学習ファイルを作成した後、dpr-scaleを使用してDPRベースの質問/パッセージエンコーダを学習させました。

性能

LFQA DPRベースのリトリーバ（vblagoje/dpr-question_encoder-single-lfqa-wikiおよびvblagoje/dpr-ctx_encoder-single-lfqa-wiki）は、「最先端」のKrishnaらによる "Hurdles to Progress in Long-form Question Answering" のREALMベースのリトリーバよりもわずかに性能が劣ります。KILTベンチマークの性能は、R-precisionが11.2、Recall@5が19.5です。