Pip SQL 1B

🚀 PipableのpipSQL

PipableのpipSQLは、プロンプトとスキーマを与えられるとSQLクエリを生成する、llama 1bから蒸留されたモデルです。多くのベンチマークで、ChatGPTやClaudeよりもSQLタスクで優れたパフォーマンスを発揮する最先端のモデルについては、https://huggingface.co/PipableAI/pipSQL-1.3b を参照してください。

このモデルでは、2つの目的を交互に扱う独自のパイプラインを使用しています。

1. シーケンス内のすべてのトークン（プロンプトトークンを含む）の対数確率を最大化する。
2. 出力トークンの真の値と予測される最大値の差、つまりシーケンス全体のSQLクエリ部分の生成トークンの差を最小化する。

✨ 主な機能

• プロンプトとスキーマを入力としてSQLクエリを生成する。
• 多くのベンチマークでChatGPTやClaudeよりもSQLタスクで優れたパフォーマンスを発揮する。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

text = """<schema>{schema}</schema>
<question>{question}</question>
<sql>"""

高度な使用法

PyTorch

from transformers import AutoModelForCasualLM, AutoTokenizer
device = "cuda"
model = AutoModelForCausalLM.from_pretrained("PipableAI/pipSQL1b")
tokenizer = AutoTokenizer.from_pretrained("PipableAI/pipSQL1b")

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True).split('<sql>')[1].split('</sql>')[0])

Flax

from transformers import FlaxAutoModelForCasualLM, AutoTokenizer
model = FlaxAutoModelForCausalLM.from_pretrained("PipableAI/pipSQL1b" , from_pt=True)
tokenizer = AutoTokenizer.from_pretrained("PipableAI/pipSQL1b")

📚 ドキュメント

このREADMEには詳細な説明が記載されていないため、このセクションをスキップします。

🔧 技術詳細

このモデルは、llama 1bから蒸留され、独自のパイプラインを使用しています。このパイプラインでは、モデルが2つの目的を交互に扱います。1つ目は、シーケンス内のすべてのトークン（プロンプトトークンを含む）の対数確率を最大化することです。2つ目は、出力トークンの真の値と予測される最大値の差、つまりシーケンス全体のSQLクエリ部分の生成トークンの差を最小化することです。

📄 ライセンス

モデルの新しい重みとそれに関連するすべてのアセットは、MITライセンスの下でオープンソース化されています。

👥 PipableAIチーム

Avi Kothari、Pratham Gupta、Ritvik Aryan Kalra、Rohan Bhatial、Soham Acharya