Re2g Qry Encoder Nq

🚀 Re2GにおけるNQ質問エンコーダのモデルカード

RAG、Multi - DPR、KGIのアプローチは、ニューラルIR（情報検索）コンポーネントを学習し、正しい出力を生成する際の影響を通じてエンドツーエンドでさらに学習することです。

🚀 クイックスタート

このモデルを使用する最良の方法は、dpr_apply.py を適応させることです。

✨ 主な機能

このモデルは、質問をベクトルにエンコードし、近似最近傍探索インデックスへのクエリとして使用するタスクに利用できます。文章をベクトルにエンコードしてインデックス化するコンテキストエンコーダと組み合わせて使用する必要があります。

📦 インストール

学習、評価、推論のコードは、re2gブランチ のGitHubリポジトリにあります。

📚 ドキュメント

モデルの詳細

RAG、Multi - DPR、およびKGIのアプローチは、ニューラルIR（情報検索）コンポーネントを学習し、正しい出力を生成する際の影響を通じてエンドツーエンドでさらに学習することです。

モデルの情報

引用

@inproceedings{glass-etal-2022-re2g,
    title = "{R}e2{G}: Retrieve, Rerank, Generate",
    author = "Glass, Michael  and
      Rossiello, Gaetano  and
      Chowdhury, Md Faisal Mahbub  and
      Naik, Ankita  and
      Cai, Pengshan  and
      Gliozzo, Alfio",
    booktitle = "Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
    month = jul,
    year = "2022",
    address = "Seattle, United States",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.naacl-main.194",
    doi = "10.18653/v1/2022.naacl-main.194",
    pages = "2701--2715",
    abstract = "As demonstrated by GPT - 3 and T5, transformers grow in capability as parameter spaces become larger and larger. However, for tasks that require a large amount of knowledge, non - parametric memory allows models to grow dramatically with a sub - linear increase in computational cost and GPU memory requirements. Recent models such as RAG and REALM have introduced retrieval into conditional generation. These models incorporate neural initial retrieval from a corpus of passages. We build on this line of research, proposing Re2G, which combines both neural initial retrieval and reranking into a BART - based sequence - to - sequence generation. Our reranking approach also permits merging retrieval results from sources with incomparable scores, enabling an ensemble of BM25 and neural initial retrieval. To train our system end - to - end, we introduce a novel variation of knowledge distillation to train the initial retrieval, reranker and generation using only ground truth on the target sequence output. We find large gains in four diverse tasks: zero - shot slot filling, question answering, fact checking and dialog, with relative gains of 9{\%} to 34{\%} over the previous state - of - the - art on the KILT leaderboard. We make our code available as open source.",
}

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。