🚀 Defog SQLCoder
Defog的SQLCoder是一款先進的大語言模型(LLM),能夠將自然語言問題轉換為SQL查詢。它為數據處理和分析提供了便捷的方式,讓非專業的SQL用戶也能輕鬆獲取所需的數據。
交互式演示 | 🤗 Hugging Face倉庫 | ♾️ Colab | 🐦 Twitter
🚀 快速開始
模型性能概述
SQLCoder - 34B是一個擁有340億參數的模型,在我們的[sql - eval](https://github.com/defog - ai/sql - eval)框架下,對於自然語言到SQL生成任務,它的表現優於gpt - 4
和gpt - 4 - turbo
,並且顯著優於所有流行的開源模型。該模型是在基礎CodeLlama模型上進行微調得到的。
訓練情況
Defog在超過20000個人工篩選的問題上進行了訓練,這些問題基於10種不同的模式。訓練數據中的模式均未包含在我們的評估框架中。你可以閱讀更多關於我們的[訓練方法](https://defog.ai/blog/open - sourcing - sqlcoder2 - 7b/)和[評估框架](https://defog.ai/blog/open - sourcing - sqleval/)的內容。
✨ 主要特性
新數據集上的表現
在訓練中未見過的新數據集上,各模型的表現如下:
模型 |
正確率 |
defog - sqlcoder - 34b |
84.0 |
gpt4 - turbo - 2023 - 11 - 09 |
82.5 |
gpt4 - 2023 - 11 - 09 |
82.5 |
defog - sqlcoder2 |
77.5 |
gpt4 - 2023 - 08 - 28 |
74.0 |
defog - sqlcoder - 7b |
71.0 |
gpt - 3.5 - 2023 - 10 - 04 |
66.0 |
claude - 2 |
64.5 |
gpt - 3.5 - 2023 - 08 - 28 |
61.0 |
claude_instant_1 |
61.0 |
text - davinci - 003 |
52.5 |

按問題類別劃分的結果
我們將每個生成的問題分為5個類別。該表顯示了每個模型按類別劃分的正確回答問題的百分比。
|
日期 |
分組 |
排序 |
比率 |
連接 |
條件 |
sqlcoder - 34b |
80 |
94.3 |
88.6 |
74.3 |
82.9 |
82.9 |
gpt - 4 |
68 |
94.3 |
85.7 |
77.1 |
85.7 |
80 |
sqlcoder2 - 15b |
76 |
80 |
77.1 |
60 |
77.1 |
77.1 |
sqlcoder - 7b |
64 |
82.9 |
74.3 |
54.3 |
74.3 |
74.3 |
gpt - 3.5 |
68 |
77.1 |
68.6 |
37.1 |
71.4 |
74.3 |
claude - 2 |
52 |
71.4 |
74.3 |
57.1 |
65.7 |
62.9 |
claude - instant |
48 |
71.4 |
74.3 |
45.7 |
62.9 |
60 |
gpt - 3 |
32 |
71.4 |
68.6 |
25.7 |
57.1 |
54.3 |
📦 安裝指南
此部分文檔未提及具體安裝步驟,故跳過。
💻 使用示例
基礎用法
你可以通過transformers
庫使用SQLCoder,從Hugging Face倉庫下載我們的模型權重。我們已經提供了在示例數據庫模式上進行推理的示例代碼。
python inference.py -q "Question about the sample database goes here"
其他使用方式
你也可以在我們的網站上使用演示:[點擊此處](https://defog.ai/sqlcoder - demo)
📚 詳細文檔
此部分文檔未提及詳細說明內容,故跳過。
🔧 技術細節
此部分文檔未提供具體的技術實現細節(>50字),故跳過。
📄 許可證
本倉庫中的代碼(雖然數量不多)採用Apache - 2許可證。模型權重採用CC BY - SA 4.0
許可證。簡而言之,你可以出於任何目的使用和修改該模型,包括商業用途。但是,如果你修改了權重(例如,通過微調),則必須在相同的許可條款下開源你修改後的權重。
📋 待辦事項
- [x] 開源v1模型權重
- [x] 在更多數據上訓練模型,提高數據的多樣性
- [ ] 通過獎勵建模和基於人類反饋的強化學習(RLHF)進一步調整模型
- [ ] 從頭開始預訓練一個專門用於SQL分析的模型