Tapex Base

🚀 TAPEX (ベースサイズのモデル)

TAPEXは、Qian Liu, Bei Chen, Jiaqi Guo, Morteza Ziyadi, Zeqi Lin, Weizhu Chen, Jian - Guang Louによる「TAPEX: Table Pre-training via Learning a Neural SQL Executor」で提案されました。元のリポジトリはこちらで見つけることができます。

✨ 主な機能

TAPEX (Table Pre - training via Execution) は、既存のモデルに表推論スキルを付与するための、概念的にシンプルで実証的に強力な事前学習アプローチです。TAPEXは、自動的に合成された実行可能なSQLクエリから得られる合成コーパスに対してニューラルSQLエグゼキューターを学習することで、表の事前学習を実現します。

TAPEXはBARTアーキテクチャに基づいており、双方向 (BERTのような) エンコーダと自己回帰的 (GPTのような) デコーダを持つトランスフォーマーエンコーダ - デコーダ (seq2seq) モデルです。

🚀 クイックスタート

このモデルは、ニューラルSQL実行のシミュレーションに使用できます。つまり、与えられた表に対してSQLクエリを実行するためにTAPEXを使用できます。ただし、このモデルは主に教師付きデータセットで微調整することを想定しています。現在、TAPEXは表質問応答タスクや表事実検証タスクを解決するために微調整できます。興味のあるタスクで微調整されたバージョンを探すには、モデルハブを参照してください。

💻 使用例

基本的な使用法

from transformers import TapexTokenizer, BartForConditionalGeneration
import pandas as pd

tokenizer = TapexTokenizer.from_pretrained("microsoft/tapex-base")
model = BartForConditionalGeneration.from_pretrained("microsoft/tapex-base")

data = {
    "year": [1896, 1900, 1904, 2004, 2008, 2012],
    "city": ["athens", "paris", "st. louis", "athens", "beijing", "london"]
}
table = pd.DataFrame.from_dict(data)

# tapex accepts uncased input since it is pre-trained on the uncased corpus
query = "select year where city = beijing"
encoding = tokenizer(table=table, query=query, return_tensors="pt")

outputs = model.generate(**encoding)

print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
# ['2008']

微調整方法

微調整スクリプトはこちらで見つけることができます。

BibTeXエントリと引用情報

@inproceedings{
    liu2022tapex,
    title={{TAPEX}: Table Pre-training via Learning a Neural {SQL} Executor},
    author={Qian Liu and Bei Chen and Jiaqi Guo and Morteza Ziyadi and Zeqi Lin and Weizhu Chen and Jian-Guang Lou},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=O50443AsCP}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。