Splinter Base

🚀 Splinter base model

Splinter-baseは、論文Few-Shot Question Answering by Pretraining Span Selection（ACL 2021）で議論された事前学習モデルです。元のリポジトリはこちらで見つけることができます。このモデルは大文字小文字を区別します。

⚠️ 重要提示

このモデルには、QASSレイヤーの事前学習済みの重みが含まれていません（詳細は論文を参照）。そのため、モデルをロードする際にQASSレイヤーはランダムに初期化されます。これらの重みを持つモデルについては、tau/splinter-base-qassを参照してください。

✨ 主な機能

モデルの説明

Splinterは、フェデレーション学習による少サンプル質問応答のために自己教師付き学習で事前学習されたモデルです。つまり、このモデルは生のテキストのみを使用して事前学習され、人間によるラベル付けは一切行われず（このため、公開されている大量のデータを利用できます）、自動的に入力とラベルを生成するプロセスで学習されまし。

より具体的には、このモデルはRecurring Span Selection (RSS)の目的で事前学習されており、抽出型質問応答に関与するスパン選択プロセスをエミュレートします。テキストが与えられると、最初に繰り返し出現するスパンのクラスター（テキスト内で複数回出現するn-gram）が特定されます。それぞれのクラスターについて、そのインスタンスのうち1つを除くすべてが特別な[QUESTION]トークンに置き換えられ、モデルは各マスクされたスパンに対して正しい（すなわち、マスクされていない）スパンを選択する必要があります。また、このモデルはQuestion-Aware Span selection (QASS)レイヤーを定義しており、特定の質問に基づいてスパンを選択します（複数の予測を行うため）。

想定される用途と制限

このモデルの主な用途は、少サンプル抽出型質問応答です。

事前学習

このモデルは、v3-8 TPUで240万ステップの事前学習を行いました。学習データはWikipediaとBookCorpusに基づいています。詳細については論文を参照してください。

BibTeXエントリと引用情報

@inproceedings{ram-etal-2021-shot,
    title = "Few-Shot Question Answering by Pretraining Span Selection",
    author = "Ram, Ori  and
      Kirstain, Yuval  and
      Berant, Jonathan  and
      Globerson, Amir  and
      Levy, Omer",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)",
    month = aug,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.acl-long.239",
    doi = "10.18653/v1/2021.acl-long.239",
    pages = "3066--3079",
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。