Tapas Base Finetuned Wtq

🚀 WikiTable Questions (WTQ) でファインチューニングされた TAPAS ベースモデル

このモデルには2つのバージョンがあり、使用することができます。デフォルトのバージョンは、元の GitHub リポジトリ の tapas_wtq_wikisql_sqa_inter_masklm_base_reset チェックポイントに対応しています。 このモデルは、MLM と著者らが中間事前学習と呼ぶ追加のステップで事前学習され、その後、SQA、WikiSQL、そして最後に WTQ で連鎖的にファインチューニングされました。このモデルは、相対位置埋め込み（つまり、テーブルの各セルで位置インデックスをリセットする）を使用しています。

使用できるもう1つの（非デフォルト）バージョンは次の通りです。

• no_reset：tapas_wtq_wikisql_sqa_inter_masklm_base（中間事前学習、絶対位置埋め込み）に対応しています。

免責事項：TAPAS をリリースしたチームはこのモデルのモデルカードを作成していないため、このモデルカードは Hugging Face チームと貢献者によって作成されました。

📊 結果

📚 モデルの説明

TAPAS は、Wikipedia の大量の英語データコーパスを自己教師付き学習で事前学習した BERT のようなトランスフォーマーモデルです。 これは、生のテーブルと関連するテキストのみを使用して事前学習され、人間によるラベル付けは一切行われず（このため、公開されている大量のデータを使用できます）、それらのテキストから入力とラベルを自動的に生成するプロセスが行われます。より正確には、このモデルは2つの目的で事前学習されています。

• マスク言語モデリング（MLM）：（平坦化された）テーブルと関連するコンテキストを入力として、モデルは入力中の単語の15％をランダムにマスクし、その後、全体の（部分的にマスクされた）シーケンスをモデルに通します。そして、モデルはマスクされた単語を予測する必要があります。これは、通常、単語を順番に見る従来の再帰型ニューラルネットワーク（RNN）や、内部的に未来のトークンをマスクする GPT のような自己回帰型モデルとは異なります。これにより、モデルはテーブルと関連するテキストの双方向表現を学習することができます。
• 中間事前学習：テーブルに関する数値的推論を促進するために、著者らは数百万の構文的に作成されたトレーニング例のバランスの取れたデータセットを作成して、モデルを追加で事前学習しました。ここでは、モデルは文がテーブルの内容によって支持されるか反駁されるかを予測（分類）する必要があります。トレーニング例は、合成文および反事実文に基づいて作成されます。

このようにして、モデルはテーブルと関連するテキストで使用される英語の内部表現を学習し、これを使用して、テーブルに関する質問に回答する、または文がテーブルの内容によって含意されるか反駁されるかを判断するなどの下流タスクに有用な特徴を抽出することができます。ファインチューニングは、事前学習されたモデルの上にセル選択ヘッドと集約ヘッドを追加し、その後、これらのランダムに初期化された分類ヘッドをベースモデルと一緒に SQa、WikiSQL、そして最後に WTQ で共同学習することで行われます。

🎯 想定される用途と制限

このモデルは、テーブルに関連する質問に回答するために使用できます。

コード例については、HuggingFace ウェブサイトの TAPAS のドキュメントを参照してください。

🔧 トレーニング手順

前処理

テキストは小文字に変換され、WordPiece を使用して語彙サイズ 30,000 でトークン化されます。モデルの入力は次の形式になります。

[CLS] 質問 [SEP] 平坦化されたテーブル [SEP]

著者らは最初に、自動変換スクリプトを使用して WTQ データセットを SQA の形式に変換しました。

ファインチューニング

モデルは、最大シーケンス長 512 とバッチサイズ 512 で、32 個の Cloud TPU v3 コアで 50,000 ステップファインチューニングされました。 この設定では、ファインチューニングに約 10 時間かかります。使用されるオプティマイザは Adam で、学習率は 1.93581e-5、ウォームアップ率は 0.128960 です。また、モデルが同じ列のセルのみを選択するように誘導バイアスが追加されています。これは、TapasConfig の select_one_column パラメータに反映されています。詳細については、論文（表 11 および 12）を参照してください。

BibTeX エントリと引用情報

@misc{herzig2020tapas,
      title={TAPAS: Weakly Supervised Table Parsing via Pre-training}, 
      author={Jonathan Herzig and Paweł Krzysztof Nowak and Thomas Müller and Francesco Piccinno and Julian Martin Eisenschlos},
      year={2020},
      eprint={2004.02349},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

@misc{eisenschlos2020understanding,
      title={Understanding tables with intermediate pre-training}, 
      author={Julian Martin Eisenschlos and Syrine Krichene and Thomas Müller},
      year={2020},
      eprint={2010.00571},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@article{DBLP:journals/corr/PasupatL15,
  author    = {Panupong Pasupat and
               Percy Liang},
  title     = {Compositional Semantic Parsing on Semi-Structured Tables},
  journal   = {CoRR},
  volume    = {abs/1508.00305},
  year      = {2015},
  url       = {http://arxiv.org/abs/1508.00305},
  archivePrefix = {arXiv},
  eprint    = {1508.00305},
  timestamp = {Mon, 13 Aug 2018 16:47:37 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/PasupatL15.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。