Defog SQLCoderオープンソースモデル - 無料でデプロイ可能、自然言語から即座に高品質なSQLクエリに変換

ホーム

Sqlcoder

defogによって開発

Defog SQLCoderは現在最も先進的な自然言語からSQLクエリへの変換を行う大規模言語モデルで、GPT-3.5-turboや他の主要なオープンソースモデルよりも優れた性能を発揮します。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:その他 #自然言語からSQLへ #データベースクエリ最適化 #オープンソース大規模言語モデル

ダウンロード数 1,330

リリース時間 : 8/11/2023

モデル概要

150億パラメータのモデルで、自然言語をSQLクエリに変換するために特別に設計されており、さまざまなデータベースアーキテクチャで優れた性能を示します。

モデル特徴

高性能SQL生成

sql-eval評価フレームワークにおいてGPT-3.5-turboやtext-davinci-003よりも優れた性能を発揮

効率的な推論

10倍大きいモデルと比較して少ないGPUリソースを消費

複数データベースサポート

10種類の異なるデータベースアーキテクチャでトレーニングされ、高い汎化能力を有する

段階的トレーニング

異なる難易度の問題に対して2段階で最適化され、複雑なクエリ能力を向上

モデル能力

自然言語からSQLへ

複雑なクエリ生成

複数テーブルの結合処理

グループ化とソートクエリ

比率計算

使用事例

データ分析

ビジネスインテリジェンスクエリ

非技術者の自然言語質問を自動的にSQLクエリに変換

データアナリストの作業負荷を軽減し、クエリ効率を向上

データベース探索

ユーザーが迅速にデータベース構造を探索・理解するのを支援

データベースの学習と使用プロセスを加速

🚀 Defog SQLCoder

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換するための最先端の大規模言語モデル（LLM）です。自然言語からSQL生成のタスクにおいて高い性能を発揮し、GPUリソースの消費も抑えられます。

インタラクティブデモ | ♾️ Colab | 🐦 Twitter

🚀 クイックスタート

このリポジトリは現在大幅に古くなっています。代わりにsqlcoder-7b-2のリポジトリを使用することをおすすめします。こちらの方が性能が大幅に良く、GPUリソースの消費も少なくなります。

✨ 主な機能

SQLCoderは150億パラメータのモデルで、sql-evalフレームワーク上の自然言語からSQL生成のタスクにおいて、gpt-3.5-turboを僅かに上回り、人気のあるすべてのオープンソースモデルを大幅に上回ります。また、自身の10倍以上のサイズのtext-davinci-003をも大幅に上回ります。SQLCoderは、ベースのStarCoderモデルをファインチューニングしています。

📚 ドキュメント

学習に使用されていない新しいデータセットでの結果

モデル	正解率
gpt-4	74.3
defog-sqlcoder	64.6
gpt-3.5-turbo	60.6
defog-easysql	57.1
text-davinci-003	54.3
wizardcoder	52.0
starcoder	45.1

質問カテゴリ別の結果

各生成された質問を5つのカテゴリのいずれかに分類しました。この表は、カテゴリ別に各モデルが正しく回答した質問の割合を表示しています。

クエリカテゴリ	gpt-4	defog-sqlcoder	gpt-3.5-turbo	defog-easy	text-davinci-003	wizard-coder	star-coder
group_by	82.9	77.1	71.4	62.9	62.9	68.6	54.3
order_by	71.4	65.7	60.0	68.6	60.0	54.3	57.1
ratio	62.9	57.1	48.6	40.0	37.1	22.9	17.1
table_join	74.3	57.1	60.0	54.3	51.4	54.3	51.4
where	80.0	65.7	62.9	60.0	60.0	60.0	45.7

学習について

Defogは、10種類のスキーマに基づく10,537個の人が選り分けた質問を2エポックで学習しました。学習データのスキーマは、評価フレームワークには含まれていません。学習は2段階で行われました。最初の段階は「簡単」または「中程度」の難易度の質問で、2段階目は「難しい」または「非常に難しい」難易度の質問でした。簡単+中程度のデータでの学習結果は、defog-easyというモデルに保存されました。難しい+非常に難しいデータでの追加学習により、性能が7ポイント向上しました。

💻 使用例

基本的な使用法

transformersライブラリを介して、HuggingFaceのリポジトリからモデルの重みをダウンロードすることで、SQLCoderを使用することができます。推論用のサンプルコードはこちらに追加されています。また、ウェブサイトのデモこちらを使用するか、ColabでSQLCoderを実行することもできますこちら

🔧 技術詳細

ハードウェア要件

SQLCoderは、bfloat16の重みでA100 40GB GPUでテストされています。また、20GB以上のメモリを持つ消費者向けGPU（RTX 4090、RTX 3090、Apple M2 Pro、M2 Max、または20GB以上のメモリを持つM2 Ultraチップなど）でも、8ビット量子化バージョンのモデルをロードすることができます。

📄 ライセンス

モデルの重みはCC BY - SA 4.0ライセンスで、責任ある使用のためのOpenRAIL - M条項が付属しています。簡単に言うと、商用利用を含むあらゆる目的でモデルを使用および変更することができます。ただし、重みを変更した場合（例えば、ファインチューニングを行った場合）、変更した重みを同じCC BY - SA 4.0ライセンス条項の下でオープンソースにする必要があります。