Tapas Mini

🚀 TAPASミニモデル

TAPASミニモデルには2つの利用可能なバージョンがあり、表データと関連テキストの処理を支援します。最新バージョン（デフォルトバージョン）は、元のGitHubリポジトリのtapas_inter_masklm_mini_resetチェックポイントに対応しています。このモデルは、MLMと著者が呼ぶ中間事前学習ステップで事前学習されており、デフォルトでは相対位置埋め込みを使用しています。

🚀 クイックスタート

このモデルには2つの利用可能なバージョンがあります。デフォルトバージョンは元のGitHubリポジトリのtapas_inter_masklm_mini_resetチェックポイントに対応しており、もう1つの非デフォルトバージョンは絶対位置埋め込みを使用し、バージョン番号はrevision="no_reset"で、tapas_inter_masklm_miniに対応しています。

✨ 主な機能

• 2種類のバージョンから選択可能：デフォルトの相対位置埋め込みバージョンと非デフォルトの絶対位置埋め込みバージョンを提供します。
• 自己教師付き事前学習：大量の英語のウィキペディアデータで自己教師付き事前学習を行っており、大量の公開データを利用できます。
• 複数の目的での事前学習：マスク言語モデル（MLM）と中間事前学習の2つの目的で事前学習を行い、表と関連テキストの双方向表現を学習します。

📚 ドキュメント

モデルの説明

TAPASはBERTに似たTransformerモデルで、自己教師付き方式で大量の英語のウィキペディアデータコーパスで事前学習されています。このモデルは、元の表と関連テキストのみで事前学習され、人工的なアノテーションは必要ありません。自動化されたプロセスによってこれらのテキストから入力とラベルが生成されます。具体的には、2つの目的で事前学習されています。

• マスク言語モデル（MLM）：モデルは入力中の15%の単語をランダムにマスクし、その後、全体の（部分的にマスクされた）シーケンスをモデルに通して、マスクされた単語を予測します。これにより、表と関連テキストの双方向表現を学習します。
• 中間事前学習：表上の数値推論を促進するために、著者は数百万の構文的に作成されたトレーニング例のバランスの取れたデータセットを作成してモデルをさらに事前学習します。モデルは、文が表の内容によって支持されるか反駁されるかを予測する必要があります。

想定される用途と制限

元のモデルを使用して表 - 質問ペアの隠れた表現を取得することができますが、主に下流タスク（質問応答やシーケンス分類など）で微調整するために使用されます。モデルセンターで、関心のあるタスクの微調整バージョンを見つけることができます。

トレーニングプロセス

前処理

テキストはWordPieceを使用して小文字化とトークン化が行われ、語彙サイズは30,000です。モデルの入力形式は以下の通りです。

[CLS] Sentence [SEP] Flattened table [SEP]

事前学習

モデルは32個のCloud TPU v3コアで1,000,000ステップの事前学習を行い、最大シーケンス長は512、バッチサイズは512です。MLMのみでの事前学習には約3日かかります。さらに、モデルは2番目のタスク（表の含意）でも事前学習されています。詳細については、元のTAPASの論文と後続の論文を参照してください。

使用されるオプティマイザはAdamで、学習率は5e - 5、ウォームアップ率は0.01です。

BibTeX引用と引用情報

@misc{herzig2020tapas,
      title={TAPAS: Weakly Supervised Table Parsing via Pre-training}, 
      author={Jonathan Herzig and Paweł Krzysztof Nowak and Thomas Müller and Francesco Piccinno and Julian Martin Eisenschlos},
      year={2020},
      eprint={2004.02349},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

@misc{eisenschlos2020understanding,
      title={Understanding tables with intermediate pre-training}, 
      author={Julian Martin Eisenschlos and Syrine Krichene and Thomas Müller},
      year={2020},
      eprint={2010.00571},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルはApache 2.0ライセンスで提供されています。

⚠️ 重要提示

TAPASをリリースしたチームはこのモデルのモデルカードを作成していません。このモデルカードはHugging Faceチームと貢献者によって作成されています。