Sqlcoder 34b Alpha

🚀 Defog SQLCoder

Defog的SQLCoder是一款先進的大語言模型（LLM），能夠將自然語言問題轉換為SQL查詢。它為數據處理和分析提供了便捷的方式，讓非專業的SQL用戶也能輕鬆獲取所需的數據。

交互式演示 | 🤗 Hugging Face倉庫 | ♾️ Colab | 🐦 Twitter

🚀 快速開始

模型性能概述

SQLCoder - 34B是一個擁有340億參數的模型，在我們的[sql - eval](https://github.com/defog - ai/sql - eval)框架下，對於自然語言到SQL生成任務，它的表現優於gpt - 4和gpt - 4 - turbo，並且顯著優於所有流行的開源模型。該模型是在基礎CodeLlama模型上進行微調得到的。

訓練情況

Defog在超過20000個人工篩選的問題上進行了訓練，這些問題基於10種不同的模式。訓練數據中的模式均未包含在我們的評估框架中。你可以閱讀更多關於我們的[訓練方法](https://defog.ai/blog/open - sourcing - sqlcoder2 - 7b/)和[評估框架](https://defog.ai/blog/open - sourcing - sqleval/)的內容。

✨ 主要特性

新數據集上的表現

在訓練中未見過的新數據集上，各模型的表現如下：


按問題類別劃分的結果

我們將每個生成的問題分為5個類別。該表顯示了每個模型按類別劃分的正確回答問題的百分比。

📦 安裝指南

此部分文檔未提及具體安裝步驟，故跳過。

💻 使用示例

基礎用法

你可以通過transformers庫使用SQLCoder，從Hugging Face倉庫下載我們的模型權重。我們已經提供了在示例數據庫模式上進行推理的示例代碼。

python inference.py -q "Question about the sample database goes here"

# 示例問題:
# Do we get more revenue from customers in New York compared to customers in San Francisco? Give me the total revenue for each city, and the difference between the two.

其他使用方式

你也可以在我們的網站上使用演示：[點擊此處](https://defog.ai/sqlcoder - demo)

📚 詳細文檔

此部分文檔未提及詳細說明內容，故跳過。

🔧 技術細節

此部分文檔未提供具體的技術實現細節（>50字），故跳過。

📄 許可證

本倉庫中的代碼（雖然數量不多）採用Apache - 2許可證。模型權重採用CC BY - SA 4.0許可證。簡而言之，你可以出於任何目的使用和修改該模型，包括商業用途。但是，如果你修改了權重（例如，通過微調），則必須在相同的許可條款下開源你修改後的權重。

📋 待辦事項

• [x] 開源v1模型權重
• [x] 在更多數據上訓練模型，提高數據的多樣性
• [ ] 通過獎勵建模和基於人類反饋的強化學習（RLHF）進一步調整模型
• [ ] 從頭開始預訓練一個專門用於SQL分析的模型