Re2g Qry Encoder Fever

🚀 Re2GにおけるFEVER質問エンコーダのモデルカード

このモデルは、質問をベクトルにエンコードし、近似最近傍探索インデックスへのクエリとして使用するタスクに役立ちます。RAG、Multi - DPR、KGIなどのアプローチと同様に、ニューラルIR（情報検索）コンポーネントをトレーニングし、正しい出力を生成する際の影響を通じてエンドツーエンドでさらにトレーニングします。

🚀 クイックスタート

このモデルの使用に関するコードや詳細な情報は、以下のGitHubリポジトリのre2gブランチにあります。 re2gブランチ

✨ 主な機能

• RAG、Multi - DPR、KGIなどのアプローチに基づき、ニューラルIRコンポーネントをトレーニングします。
• 質問をベクトルにエンコードし、近似最近傍探索インデックスへのクエリとして使用できます。
• 再ランキングアプローチにより、スコアが比較できないソースからの検索結果を統合できます。

📦 インストール

インストールに関する具体的な手順は、GitHubリポジトリのre2gブランチを参照してください。 re2gブランチ

💻 使用例

基本的な使用法

このモデルを使用する最良の方法は、dpr_apply.pyを適応させることです。

📚 ドキュメント

モデル詳細

RAG、Multi - DPR、およびKGIのアプローチは、ニューラルIR（情報検索）コンポーネントをトレーニングし、正しい出力を生成する際の影響を通じてエンドツーエンドでさらにトレーニングするものです。

トレーニング、評価、推論

トレーニング、評価、および推論のコードは、GitHubのre2gブランチにあります。

モデルの使用

このモデルは、質問をベクトルにエンコードし、近似最近傍探索インデックスへのクエリとして使用するタスクに使用できます。ただし、パッセージをベクトルにエンコードしてインデックス化するコンテキストエンコーダと組み合わせて使用する必要があります。

引用

@inproceedings{glass-etal-2022-re2g,
    title = "{R}e2{G}: Retrieve, Rerank, Generate",
    author = "Glass, Michael  and
      Rossiello, Gaetano  and
      Chowdhury, Md Faisal Mahbub  and
      Naik, Ankita  and
      Cai, Pengshan  and
      Gliozzo, Alfio",
    booktitle = "Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
    month = jul,
    year = "2022",
    address = "Seattle, United States",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.naacl-main.194",
    doi = "10.18653/v1/2022.naacl-main.194",
    pages = "2701--2715",
    abstract = "As demonstrated by GPT - 3 and T5, transformers grow in capability as parameter spaces become larger and larger. However, for tasks that require a large amount of knowledge, non - parametric memory allows models to grow dramatically with a sub - linear increase in computational cost and GPU memory requirements. Recent models such as RAG and REALM have introduced retrieval into conditional generation. These models incorporate neural initial retrieval from a corpus of passages. We build on this line of research, proposing Re2G, which combines both neural initial retrieval and reranking into a BART - based sequence - to - sequence generation. Our reranking approach also permits merging retrieval results from sources with incomparable scores, enabling an ensemble of BM25 and neural initial retrieval. To train our system end - to - end, we introduce a novel variation of knowledge distillation to train the initial retrieval, reranker and generation using only ground truth on the target sequence output. We find large gains in four diverse tasks: zero - shot slot filling, question answering, fact checking and dialog, with relative gains of 9{\%} to 34{\%} over the previous state - of - the - art on the KILT leaderboard. We make our code available as open source.",
}

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

📚 詳細情報