Tapas Mini

🚀 TAPAS迷你模型

TAPAS迷你模型有2個可用版本，能助力處理表格數據及相關文本。其最新版本（也是默認版本）對應原始GitHub倉庫中的tapas_inter_masklm_mini_reset檢查點。該模型在MLM和作者所稱的中間預訓練步驟上進行了預訓練，默認使用相對位置嵌入。

🚀 快速開始

本模型有兩個可用版本，默認版本對應原始GitHub倉庫的tapas_inter_masklm_mini_reset檢查點，另一個非默認版本使用絕對位置嵌入，版本號為revision="no_reset"，對應tapas_inter_masklm_mini。

✨ 主要特性

• 兩種版本可選：提供默認的相對位置嵌入版本和非默認的絕對位置嵌入版本。
• 自監督預訓練：在大量英文維基百科數據上進行自監督預訓練，可利用大量公開數據。
• 多目標預訓練：通過掩碼語言模型（MLM）和中間預訓練兩個目標進行預訓練，學習表格和相關文本的雙向表示。

📚 詳細文檔

模型描述

TAPAS是一種類似BERT的Transformer模型，以自監督方式在大量英文維基百科數據語料庫上進行預訓練。它僅在原始表格和相關文本上進行預訓練，無需人工標註，通過自動流程從這些文本生成輸入和標籤。具體而言，它通過兩個目標進行預訓練：

• 掩碼語言模型（MLM）：模型隨機掩蓋輸入中15%的單詞，然後通過模型運行整個（部分掩蓋的）序列，預測被掩蓋的單詞，從而學習表格和相關文本的雙向表示。
• 中間預訓練：為鼓勵表格上的數值推理，作者通過創建數百萬個語法創建的訓練示例的平衡數據集進一步預訓練模型，模型需預測句子是否由表格內容支持或反駁。

預期用途與限制

可使用原始模型獲取表格 - 問題對的隱藏表示，但主要用於在下游任務（如問答或序列分類）上進行微調。可在模型中心查找感興趣任務的微調版本。

訓練過程

預處理

文本使用WordPiece進行小寫和分詞，詞彙表大小為30,000。模型的輸入形式為：

[CLS] Sentence [SEP] Flattened table [SEP]

預訓練

模型在32個Cloud TPU v3核心上進行了1,000,000步的預訓練，最大序列長度為512，批量大小為512。僅在MLM上進行預訓練大約需要3天。此外，模型還在第二個任務（表格蘊含）上進行了進一步預訓練。更多詳細信息請參閱原始TAPAS 論文和後續論文。

使用的優化器是Adam，學習率為5e - 5，預熱比例為0.01。

BibTeX引用和引用信息

@misc{herzig2020tapas,
      title={TAPAS: Weakly Supervised Table Parsing via Pre-training}, 
      author={Jonathan Herzig and Paweł Krzysztof Nowak and Thomas Müller and Francesco Piccinno and Julian Martin Eisenschlos},
      year={2020},
      eprint={2004.02349},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

@misc{eisenschlos2020understanding,
      title={Understanding tables with intermediate pre-training}, 
      author={Julian Martin Eisenschlos and Syrine Krichene and Thomas Müller},
      year={2020},
      eprint={2010.00571},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型採用Apache 2.0許可證。

⚠️ 重要提示

發佈TAPAS的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊和貢獻者編寫。