T5 Small Finetuned Wikisql

🚀 T5-smallをWikiSQLでファインチューニングしたモデル

このモデルは、GoogleのT5 small を WikiSQL でファインチューニングしたもので、英語からSQLへの翻訳を行います。

📚 T5の詳細

T5モデルは、Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liuによる Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer で発表されました。以下はその概要です。

転移学習（モデルをまずデータが豊富なタスクで事前学習し、その後下流のタスクでファインチューニングする手法）は、自然言語処理（NLP）における強力な技術として浮上しています。転移学習の有効性により、様々なアプローチ、方法論、実践が生まれています。この論文では、すべての言語問題をテキストからテキストへの形式に変換する統一的なフレームワークを導入することで、NLPの転移学習技術の領域を探索します。我々の体系的な研究では、数十の言語理解タスクにおいて、事前学習の目的、アーキテクチャ、ラベルなしデータセット、転移アプローチ、その他の要素を比較しています。我々の探索から得られた洞察と大規模なデータ、そして新しい「Colossal Clean Crawled Corpus」を組み合わせることで、要約、質問応答、テキスト分類などの多くのベンチマークで最先端の結果を達成しています。NLPの転移学習に関する将来の研究を促進するために、我々はデータセット、事前学習モデル、コードを公開しています。

📚 データセットの詳細

データセットID: wikisql （Huggingface/NLP から取得）

nlp からデータセットをロードする方法は以下の通りです。

train_dataset  = nlp.load_dataset('wikisql', split=nlp.Split.TRAIN)
valid_dataset = nlp.load_dataset('wikisql', split=nlp.Split.VALIDATION)

このデータセットや他のデータセットについて詳しくは NLP Viewer を参照してください。

🏋️‍ モデルのファインチューニング

学習スクリプトは、Suraj Patil によって作成された このColab Notebook を若干修正したものです。彼にすべての功績を捧げます！

🚀 モデルの実行例

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-small-finetuned-wikiSQL")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-small-finetuned-wikiSQL")

def get_sql(query):
  input_text = "translate English to SQL: %s </s>" % query
  features = tokenizer([input_text], return_tensors='pt')

  output = model.generate(input_ids=features['input_ids'], 
               attention_mask=features['attention_mask'])
  
  return tokenizer.decode(output[0])

query = "How many millions of params there are in HF-hub?"

get_sql(query)

# 出力: 'SELECT COUNT Params FROM table WHERE Location = HF-hub'

作成者: Manuel Romero/@mrm8488 | LinkedIn

スペインで ♥ を込めて作成