Sqlcoder

🚀 Defog SQLCoder

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換するための最先端の大規模言語モデル（LLM）です。自然言語からSQL生成のタスクにおいて高い性能を発揮し、GPUリソースの消費も抑えられます。

インタラクティブデモ | ♾️ Colab | 🐦 Twitter

🚀 クイックスタート

このリポジトリは現在大幅に古くなっています。代わりにsqlcoder-7b-2のリポジトリを使用することをおすすめします。こちらの方が性能が大幅に良く、GPUリソースの消費も少なくなります。

✨ 主な機能

SQLCoderは150億パラメータのモデルで、sql-evalフレームワーク上の自然言語からSQL生成のタスクにおいて、gpt-3.5-turboを僅かに上回り、人気のあるすべてのオープンソースモデルを大幅に上回ります。また、自身の10倍以上のサイズのtext-davinci-003をも大幅に上回ります。SQLCoderは、ベースのStarCoderモデルをファインチューニングしています。

📚 ドキュメント

学習に使用されていない新しいデータセットでの結果

質問カテゴリ別の結果

各生成された質問を5つのカテゴリのいずれかに分類しました。この表は、カテゴリ別に各モデルが正しく回答した質問の割合を表示しています。

学習について

Defogは、10種類のスキーマに基づく10,537個の人が選り分けた質問を2エポックで学習しました。学習データのスキーマは、評価フレームワークには含まれていません。学習は2段階で行われました。最初の段階は「簡単」または「中程度」の難易度の質問で、2段階目は「難しい」または「非常に難しい」難易度の質問でした。簡単+中程度のデータでの学習結果は、defog-easyというモデルに保存されました。難しい+非常に難しいデータでの追加学習により、性能が7ポイント向上しました。

💻 使用例

基本的な使用法

transformersライブラリを介して、HuggingFaceのリポジトリからモデルの重みをダウンロードすることで、SQLCoderを使用することができます。推論用のサンプルコードはこちらに追加されています。また、ウェブサイトのデモこちらを使用するか、ColabでSQLCoderを実行することもできますこちら

🔧 技術詳細

ハードウェア要件

SQLCoderは、bfloat16の重みでA100 40GB GPUでテストされています。また、20GB以上のメモリを持つ消費者向けGPU（RTX 4090、RTX 3090、Apple M2 Pro、M2 Max、または20GB以上のメモリを持つM2 Ultraチップなど）でも、8ビット量子化バージョンのモデルをロードすることができます。

📄 ライセンス

モデルの重みはCC BY - SA 4.0ライセンスで、責任ある使用のためのOpenRAIL - M条項が付属しています。簡単に言うと、商用利用を含むあらゆる目的でモデルを使用および変更することができます。ただし、重みを変更した場合（例えば、ファインチューニングを行った場合）、変更した重みを同じCC BY - SA 4.0ライセンス条項の下でオープンソースにする必要があります。

今後の予定

• [x] v1モデルの重みをオープンソース化
• [ ] より多くのデータでモデルを学習させ、データの分散を増やす
• [ ] 報酬モデリングとRLHFでモデルをさらにチューニングする
• [ ] SQL分析に特化したモデルをゼロから事前学習する