Tapas Large Finetuned Wikisql Supervised

🚀 WikiSQLで教師あり学習でファインチューニングされたTAPAS largeモデル

このモデルには2つのバージョンがあり、使用することができます。デフォルトのバージョンは、元のGitHubリポジトリ の tapas_wikisql_sqa_inter_masklm_large_reset チェックポイントに対応しています。 このモデルは、MLMと著者が中間事前学習と呼ぶ追加のステップで事前学習され、その後、SQA と WikiSQL で連鎖的にファインチューニングされました。このモデルは、相対位置埋め込み（つまり、テーブルの各セルで位置インデックスをリセットする）を使用しています。

使用できるもう1つの（非デフォルト）バージョンは次のとおりです。

• no_reset：tapas_wikisql_sqa_inter_masklm_large（中間事前学習、絶対位置埋め込み）に対応しています。

免責事項：TAPASをリリースしたチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームとコントリビューターによって作成されました。

🚀 クイックスタート

このモデルは、テーブルに関連する質問に答えるために使用することができます。コード例については、HuggingFaceウェブサイトのTAPASのドキュメントを参照してください。

✨ 主な機能

モデルの説明

TAPASは、Wikipediaの大量の英語データコーパスを自己教師付き学習で事前学習したBERTのようなTransformerモデルです。 これは、生のテーブルと関連するテキストのみを事前学習し、人間が何らかの形でラベル付けを行わず（これが大量の公開データを使用できる理由）、それらのテキストから入力とラベルを生成する自動プロセスを使用しています。より正確には、2つの目的で事前学習されています。

• マスク言語モデリング（MLM）：（平坦化された）テーブルと関連するコンテキストを取り、モデルは入力の単語の15％をランダムにマスクし、その後、全体の（部分的にマスクされた）シーケンスをモデルに通します。そして、モデルはマスクされた単語を予測する必要があります。これは、通常は単語を1つずつ見る従来の再帰型ニューラルネットワーク（RNN）や、内部で未来のトークンをマスクするGPTのような自己回帰型モデルとは異なります。これにより、モデルはテーブルと関連するテキストの双方向表現を学習することができます。
• 中間事前学習：テーブルに対する数値推論を促進するために、著者は数百万の構文的に作成された訓練例のバランスの取れたデータセットを作成してモデルを追加で事前学習しました。ここでは、モデルは文がテーブルの内容によって支持されるか反駁されるかを予測（分類）する必要があります。訓練例は、合成文と反事実文の両方に基づいて作成されます。

このようにして、モデルはテーブルと関連するテキストで使用される英語の内部表現を学習し、これを使用して、テーブルに関する質問に答える、または文がテーブルの内容によって含意されるか反駁されるかを判断するなどの下流タスクに役立つ特徴を抽出することができます。ファインチューニングは、事前学習されたモデルの上にセル選択ヘッドと集約ヘッドを追加し、その後、これらのランダムに初期化された分類ヘッドをSQAとWikiSQLでベースモデルと共同で訓練することによって行われます。

📦 インストール

このREADMEにはインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEにはコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

学習手順

前処理

テキストは小文字に変換され、WordPieceを使用して語彙サイズ30,000でトークン化されます。モデルの入力は次の形式になります。

[CLS] Question [SEP] Flattened table [SEP]

著者は最初に、自動変換スクリプトを使用してWikiSQLデータセットをSQAの形式に変換しました。

ファインチューニング

このモデルは、最大シーケンス長512、バッチサイズ512で、32個のCloud TPU v3コアで50,000ステップファインチューニングされました。 この設定では、ファインチューニングに約10時間かかります。使用されるオプティマイザは、学習率6.17164e-5、ウォームアップ率0.1424のAdamです。詳細については、論文（表11と表12）を参照してください。

BibTeXエントリと引用情報

@misc{herzig2020tapas,
      title={TAPAS: Weakly Supervised Table Parsing via Pre-training}, 
      author={Jonathan Herzig and Paweł Krzysztof Nowak and Thomas Müller and Francesco Piccinno and Julian Martin Eisenschlos},
      year={2020},
      eprint={2004.02349},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

@misc{eisenschlos2020understanding,
      title={Understanding tables with intermediate pre-training}, 
      author={Julian Martin Eisenschlos and Syrine Krichene and Thomas Müller},
      year={2020},
      eprint={2010.00571},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@article{DBLP:journals/corr/abs-1709-00103,
  author    = {Victor Zhong and
               Caiming Xiong and
               Richard Socher},
  title     = {Seq2SQL: Generating Structured Queries from Natural Language using
               Reinforcement Learning},
  journal   = {CoRR},
  volume    = {abs/1709.00103},
  year      = {2017},
  url       = {http://arxiv.org/abs/1709.00103},
  archivePrefix = {arXiv},
  eprint    = {1709.00103},
  timestamp = {Mon, 13 Aug 2018 16:48:41 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-1709-00103.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

🔧 技術詳細

このREADMEには技術的な実装詳細が十分に記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。