Sqlcoder 7b

🚀 Defog SQLCoder

Defog的SQLCoder是一款先進的大語言模型（LLM），可將自然語言問題轉換為SQL查詢，為數據處理和分析提供了便捷的解決方案。

交互式演示 | 🤗 Hugging Face倉庫 | ♾️ Colab | 🐦 Twitter

🚀 快速開始

⚠️ 重要提示

此模型現已過時。請使用defog/sqlcoder-7b-2以獲得更好的性能！

SQLCoder-7B是一個擁有70億參數的模型，在我們的sql-eval框架上，對於自然語言到SQL生成任務，其性能優於gpt-3.5-turbo，並顯著優於所有流行的開源模型。在針對給定模式進行微調後，它的性能還會超過gpt-4。

SQLCoder-7B是在基礎Mistral-7B模型上進行微調得到的。

✨ 主要特性

新數據集上的表現

在訓練中未見過的新數據集上，各模型的正確率如下：

按問題類別劃分的結果

我們將每個生成的問題分為5個類別。下表展示了每個模型按類別劃分的問題回答正確率：

📦 安裝指南

你可以通過transformers庫使用SQLCoder，從Hugging Face倉庫下載我們的模型權重。我們已經為示例數據庫模式的推理添加了示例代碼。

python inference.py -q "關於示例數據庫的問題寫在這裡"

# 示例問題：
# 與舊金山的客戶相比，我們從紐約的客戶那裡獲得的收入更多嗎？請給出每個城市的總收入以及兩者之間的差額。

你還可以在我們的網站上使用演示點擊此處，或者在Colab中運行SQLCoder點擊此處

📚 詳細文檔

訓練信息

SQLCoder在超過20,000個人工篩選的問題上進行了訓練。這些問題基於10種不同的模式。訓練數據中的所有模式均未包含在我們的評估框架中。

你可以閱讀更多關於我們的訓練方法和評估框架的內容。

硬件要求

SQLCoder已在配備bfloat16權重的A100 40GB GPU上進行了測試。你也可以在具有20GB或更多內存的消費級GPU上加載該模型的8位和4位量化版本，如RTX 4090、RTX 3090，以及具有20GB或更多內存的Apple M2 Pro、M2 Max或M2 Ultra芯片。

待辦事項

• [x] 開源v1模型權重
• [x] 在更多數據上訓練模型，提高數據的多樣性
• [ ] 通過獎勵建模和基於人類反饋的強化學習（RLHF）進一步微調模型
• [ ] 從頭開始預訓練一個專門用於SQL分析的模型

📄 許可證

此倉庫中的代碼（雖然數量不多）採用Apache-2許可證。模型權重採用CC BY-SA 4.0許可證。簡而言之，你可以出於任何目的使用和修改該模型，包括商業用途。但是，如果你修改了權重（例如，通過微調），則必須在相同的許可證條款下開源你修改後的權重。