Sqlcoder 34b Alpha

🚀 Defog SQLCoder

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換するための最先端の大規模言語モデル（LLM）です。このモデルは、自然言語からSQLへの変換タスクにおいて高い性能を発揮し、様々なベンチマークで優れた結果を示しています。

インタラクティブデモ | 🤗 HFリポジトリ | ♾️ Colab | 🐦 Twitter

🚀 クイックスタート

SQLCoder-34Bは340億パラメータのモデルで、sql-evalフレームワーク上の自然言語からSQL生成タスクにおいて、gpt-4 や gpt-4-turbo を上回り、人気のあるすべてのオープンソースモデルを大きく上回っています。SQLCoder-34Bは、CodeLlamaモデルをベースにファインチューニングされています。

✨ 主な機能

未学習データセットでの結果

質問カテゴリ別の結果

質問を5つのカテゴリに分類し、各モデルが正しく回答した質問の割合をカテゴリ別に表示しています。

📦 インストール

transformers ライブラリを使用して、Hugging Faceリポジトリからモデルの重みをダウンロードすることで、SQLCoderを使用することができます。サンプルデータベーススキーマに対する推論のサンプルコードも用意されています。

python inference.py -q "サンプルデータベースに関する質問をここに入力"

# サンプル質問:
# ニューヨークの顧客とサンフランシスコの顧客からの収益を比較します。各都市の総収益とその差を教えてください。

また、こちらのウェブサイトでデモを使用することもできます。

🔧 技術詳細

トレーニング

Defogは、20,000以上の人間が作成した質問を使用してトレーニングされています。これらの質問は10種類の異なるスキーマに基づいています。トレーニングデータに含まれるスキーマは、評価フレームワークには含まれていません。 トレーニングアプローチと評価フレームワークの詳細を読むことができます。

ハードウェア要件

SQLCoder-34Bは、float16 重みで4xA10 GPU上でテストされています。また、20GB以上のメモリを持つ消費者向けGPU（RTX 4090、RTX 3090、Apple M2 Pro、M2 Max、またはM2 Ultraチップなど）で、8ビットおよび4ビット量子化バージョンのモデルをロードすることもできます。

📄 ライセンス

このリポジトリ内のコード（ほとんどないですが）は、Apache-2ライセンスです。モデルの重みは CC BY-SA 4.0 ライセンスです。簡単に言うと、あらゆる目的（商用利用を含む）でモデルを使用および変更することができます。ただし、重みを変更した場合（例えば、ファインチューニングする場合）、変更した重みを同じライセンス条項の下でオープンソースにする必要があります。

📚 ドキュメント

今後の予定

• [x] v1モデルの重みをオープンソース化
• [x] より多くのデータで、より高いデータ分散でモデルをトレーニング
• [ ] 報酬モデリングとRLHFでモデルをさらにチューニング
• [ ] SQL分析に特化したモデルをゼロから事前学習