Tapas Medium

🚀 TAPAS中型モデル

TAPAS中型モデルには2つの利用可能なバージョンがあり、表データの処理と質問応答タスクを支援することができます。最新バージョンがデフォルトバージョンで、元のGitHubリポジトリのtapas_inter_masklm_medium_resetチェックポイントに対応しています。このモデルは、MLMと著者が呼ぶ中間事前学習で事前学習されており、デフォルトでは相対位置埋め込みが使用されます。

✨ 主な機能

• 2つのバージョンのサポート：デフォルトの相対位置埋め込みバージョンと、非デフォルトの絶対位置埋め込みバージョン（revision="no_reset"、tapas_inter_masklm_mediumに対応）を提供します。
• 自己教師付き事前学習：大量の英語のウィキペディアデータで自己教師付き事前学習を行い、マスク言語モデリング（MLM）と中間事前学習によって表と関連テキストの双方向表現を学習します。
• 数値推論能力：中間事前学習によって表上の数値推論が促進され、文が表の内容によって支持されるか反駁されるかを予測することができます。

📚 ドキュメント

モデルの説明

TAPASはBERTに似たTransformerモデルで、自己教師付き方式で大量の英語のウィキペディアデータコーパスで事前学習されています。これは、モデルが元の表と関連テキストのみで事前学習され、人工的なアノテーションを必要とせず、これらのテキストから自動的なプロセスで入力とラベルを生成することを意味します。具体的には、2つの目標で事前学習されています。

• マスク言語モデリング（MLM）：モデルは入力の15%の単語をランダムにマスクし、次に全体の（部分的にマスクされた）シーケンスをモデルに入力して、マスクされた単語を予測します。これは、従来の再帰型ニューラルネットワーク（RNN）や自己回帰モデル（GPTなど）とは異なり、モデルが表と関連テキストの双方向表現を学習することができます。
• 中間事前学習：表上の数値推論を促進するために、著者は数百万の文法的な学習例のバランスの取れたデータセットを作成してモデルをさらに事前学習しました。モデルは、文が表の内容によって支持されるか反駁されるかを予測する必要があり、学習例は合成文と反事実文に基づいて作成されています。

想定される用途と制限

元のモデルを使用して表 - 質問ペアの隠れ層表現を取得することができますが、主に下流タスク（質問応答やシーケンス分類など）で微調整するために使用されます。モデルセンターで関心のあるタスクの微調整バージョンを見つけることができます。

学習過程

前処理

テキストは最初に小文字に変換され、次にWordPieceを使用してトークン化されます。語彙サイズは30,000です。モデルの入力形式は次のとおりです。

[CLS] 文 [SEP] 平坦化された表 [SEP]

事前学習

モデルは32個のCloud TPU v3コアで1,000,000ステップの事前学習を行い、最大シーケンス長は512、バッチサイズは512です。この設定では、MLMのみの事前学習に約3日かかります。さらに、モデルは2番目のタスク（表の含意）でも事前学習されています。詳細については、元のTAPAS 論文と後続の論文を参照してください。

使用されるオプティマイザはAdamで、学習率は5e-5、ウォームアップ率は0.01です。

BibTeX引用と引用情報

@misc{herzig2020tapas,
      title={TAPAS: Weakly Supervised Table Parsing via Pre-training}, 
      author={Jonathan Herzig and Paweł Krzysztof Nowak and Thomas Müller and Francesco Piccinno and Julian Martin Eisenschlos},
      year={2020},
      eprint={2004.02349},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

@misc{eisenschlos2020understanding,
      title={Understanding tables with intermediate pre-training}, 
      author={Julian Martin Eisenschlos and Syrine Krichene and Thomas Müller},
      year={2020},
      eprint={2010.00571},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルはApache - 2.0ライセンスで提供されています。