Tapex Large

🚀 TAPEX (大型モデル)

TAPEXは、Qian Liu、Bei Chen、Jiaqi Guo、Morteza Ziyadi、Zeqi Lin、Weizhu Chen、Jian - Guang Louによる論文 TAPEX: Table Pre-training via Learning a Neural SQL Executor で提案されました。元のリポジトリは こちら で見つけることができます。

🚀 クイックスタート

TAPEXは、既存のモデルに表推論能力を付与するための、概念的にシンプルで実証的に強力な事前学習アプローチです。このモデルは、自動合成された実行可能なSQLクエリから得られる合成コーパス上でニューラルSQLエグゼキュータを学習することで、表の事前学習を実現しています。

✨ 主な機能

TAPEX (Table Pre-training via Execution) は、既存のモデルに表推論スキルを付与するための、概念的にシンプルで実証的に強力な事前学習アプローチです。TAPEXは、自動合成された実行可能なSQLクエリから得られる合成コーパス上でニューラルSQLエグゼキュータを学習することで、表の事前学習を実現しています。

TAPEXは、双方向（BERTのような）エンコーダと自己回帰型（GPTのような）デコーダを持つトランスフォーマーエンコーダ - エンコーダ（seq2seq）モデルであるBARTアーキテクチャに基づいています。

📚 ドキュメント

想定される用途

⚠️ 重要提示

このモデルチェックポイントは、下流タスクでのファインチューニングにのみ使用されます。ニューラルSQL実行のシミュレーション、つまり与えられた表に対してTAPEXを使ってSQLクエリを実行することはできません。ニューラルにSQLクエリを実行できるモデルは こちら にあります。

この2種類の目的のために2つのモデルを分離しているのは、BART largeにおける既知の問題によるものです。詳細については このコメント を参照することをおすすめします。

ファインチューニングの方法

ファインチューニングスクリプトは こちら で見つけることができます。

BibTeXエントリと引用情報

@inproceedings{
    liu2022tapex,
    title={{TAPEX}: Table Pre-training via Learning a Neural {SQL} Executor},
    author={Qian Liu and Bei Chen and Jiaqi Guo and Morteza Ziyadi and Zeqi Lin and Weizhu Chen and Jian-Guang Lou},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=O50443AsCP}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。