Splinter Base

🚀 Splinter基礎模型

Splinter-base是論文Few-Shot Question Answering by Pretraining Span Selection（發表於ACL 2021）中討論的預訓練模型。其原始代碼庫可在此處找到。該模型區分大小寫。

注意：此模型不包含QASS層的預訓練權重（詳情見論文），因此在加載時QASS層會被隨機初始化。如需包含這些權重的模型，請見tau/splinter-base-qass。

✨ 主要特性

• 以自監督方式進行預訓練，適用於少樣本問答任務。
• 採用循環跨度選擇（RSS）目標進行預訓練，模擬抽取式問答中的跨度選擇過程。
• 定義了問題感知跨度選擇（QASS）層，可根據特定問題選擇跨度以進行多次預測。

📚 詳細文檔

模型描述

Splinter是一個以自監督方式進行預訓練的少樣本問答模型。這意味著它僅在原始文本上進行預訓練，沒有人工以任何方式對其進行標註（這就是它可以使用大量公開可用數據的原因），並通過自動過程從這些文本中生成輸入和標籤。

更確切地說，它是通過循環跨度選擇（RSS）目標進行預訓練的，該目標模擬了抽取式問答中涉及的跨度選擇過程。給定一段文本，首先會識別出循環跨度的簇（即在文本中出現多次的n-gram）。對於每個這樣的簇，除了其中一個實例外，所有其他實例都將被特殊的[QUESTION]標記替換，模型需要為每個被掩碼的跨度選擇正確的（即未被掩碼的）跨度。該模型還定義了問題感知跨度選擇（QASS）層，該層根據特定問題選擇跨度（以便進行多次預測）。

預期用途與侷限性

該模型的主要用途是少樣本抽取式問答。

預訓練

該模型在v3 - 8 TPU上進行了240萬步的預訓練。訓練數據基於維基百科和BookCorpus。更多詳情請參閱論文。

BibTeX引用和引用信息

@inproceedings{ram-etal-2021-shot,
    title = "Few-Shot Question Answering by Pretraining Span Selection",
    author = "Ram, Ori  and
      Kirstain, Yuval  and
      Berant, Jonathan  and
      Globerson, Amir  and
      Levy, Omer",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)",
    month = aug,
    year = "2021",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.acl-long.239",
    doi = "10.18653/v1/2021.acl-long.239",
    pages = "3066--3079",
}

📄 許可證

本項目採用Apache 2.0許可證。