オープンソースSQLCoder2大規模言語モデル - 無料でデプロイし、自然言語からSQLクエリへの変換を簡単に実現

ホーム

Sqlcoder2

defogによって開発

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換するのに特化した最先端の大規模言語モデルです。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:その他 #自然言語からSQLへ #データベースクエリ最適化 #GPT-3.5を超える

ダウンロード数 528

リリース時間 : 10/2/2023

モデル概要

SQLCoderは150億パラメータのモデルで、自然言語からSQLへの変換性能においてgpt-3.5-turboを上回り、主要なオープンソースモデルを大幅に凌駕します。特定のデータベーススキーマに微調整すると、その性能はgpt-4をも上回ります。

モデル特徴

高性能SQL生成

sql-eval評価フレームワークにおいて、gpt-3.5-turboを上回る性能を発揮し、主要なオープンソースモデルを大幅に凌駕

専門データベースサポート

特定のデータベーススキーマに微調整するとgpt-4を上回る性能

広範なトレーニングデータ

10種類の異なるデータベーススキーマに関連する20,000件以上の人手による注釈付き問題に基づいてトレーニング

モデル能力

自然言語からSQLへ

データベースクエリ生成

複雑なSQL文生成

使用事例

データ分析

ビジネスインテリジェンス分析

非技術者の自然言語質問を自動的にSQLクエリに変換し、ビジネスデータ分析に活用

非技術者のデータアクセス効率向上

データベース管理

データベース管理者が複雑なSQLクエリを迅速に生成するのを支援

SQL作成時間の短縮

🚀 Defog SQLCoder

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換する最先端の大規模言語モデル（LLM）です。このモデルは、自然言語からSQLへの変換タスクにおいて高い性能を発揮し、様々なモデルと比較して優れた結果を示します。

インタラクティブデモ | 🤗 HFリポジトリ | ♾️ Colab | 🐦 Twitter

🚀 クイックスタート

SQLCoderは150億パラメータのモデルで、Defogのsql-evalフレームワーク上の自然言語からSQL生成タスクにおいて、gpt-3.5-turboを上回り、人気のあるオープンソースモデルを大きく上回ります。特定のスキーマでファインチューニングすると、gpt-4をも上回ります。SQLCoderは、ベースのStarCoderモデルをファインチューニングして作成されています。

✨ 主な機能

自然言語の質問を高精度にSQLクエリに変換します。
様々なモデルと比較して、高い正答率を達成しています。
ファインチューニングにより、特定のスキーマに対する性能を向上させることができます。

📦 インストール

このリポジトリにはほとんどコードがありませんが、transformersライブラリを使用してHugging Faceリポジトリからモデルの重みをダウンロードすることで、SQLCoderを使用できます。

💻 使用例

基本的な使用法

python inference.py -q "Question about the sample database goes here"

# サンプル質問:
# Do we get more revenue from customers in New York compared to customers in San Francisco? Give me the total revenue for each city, and the difference between the two.

また、こちらのウェブサイトでデモを試すこともできますし、こちらのColabで実行することもできます。

📚 ドキュメント

訓練データ

Defogは、2万以上の人間が作成した質問で訓練されています。これらの質問は10種類の異なるスキーマに基づいています。訓練データのスキーマは、評価フレームワークには含まれていません。

質問カテゴリ別の結果

生成された質問は5つのカテゴリに分類されます。次の表は、各モデルが正しく回答した質問の割合をカテゴリ別に示しています。

クエリカテゴリ	gpt-4	sqlcoder2-15b	sqlcoder-7b	gpt-3.5	claude-2	claude-instant	gpt-3
date	72	80	64	68	52	48	32
group_by	91.4	82.9	82.9	77.1	71.4	71.4	71.4
order_by	82.9	77.1	74.3	68.6	74.3	74.3	68.6
ratio	80	74.3	54.3	37.1	57.1	45.7	25.7
join	82.9	74.3	74.3	71.4	65.7	62.9	57.1
where	80	77.1	74.3	74.3	62.9	60	54.3

訓練データに含まれない新しいデータセットでの結果

モデル	正答率
gpt4-2023-10-04	82.0
defog-sqlcoder2	77.5
gpt4-2023-08-28	74.0
defog-sqlcoder-7b	71.0
gpt-3.5-2023-10-04	66.0
claude-2	64.5
gpt-3.5-2023-08-28	61.0
claude_instant_1	61.0
text-davinci-003	52.5

ハードウェア要件

SQLCoderは、bfloat16の重みでA100 40GB GPUでテストされています。20GB以上のメモリを持つ消費者向けGPU（RTX 4090、RTX 3090、Apple M2 Pro、M2 Max、またはM2 Ultraチップ）でも、8ビットおよび4ビットの量子化バージョンのモデルをロードすることができます。

🔧 技術詳細

訓練アプローチについては、こちらを参照してください。
評価フレームワークについては、こちらを参照してください。

📄 ライセンス

このリポジトリのコード（ほとんどありませんが）は、Apache-2ライセンスです。モデルの重みはCC BY-SA 4.0ライセンスで、追加の責任ある使用制限が付けられています。簡単に言うと、あらゆる目的（商用利用を含む）でモデルを使用および変更することができます。ただし、重みを変更した場合（たとえば、ファインチューニングした場合）、変更した重みを同じライセンス条項でオープンソースにする必要があります。