LLM SQL BaseDatosEspanol Mistral

🚀 實現大語言模型（LLM）與 SQL 以多模態方式與西班牙語數據庫交互

本項目旨在解決長期以來生成精確 SQL 查詢以響應西班牙語用戶需求的難題。準確的 SQL 生成需要對用戶查詢和數據庫結構有深入理解。現有基於大語言模型（LLM）的解決方案雖能生成符合數據庫模式的 SQL，但存在語言以英語為主、部分必要知識未在數據庫模式中明確體現且未被 LLM 學習到等問題。

為應對這些挑戰，我們提出了一種多模態工具，它能夠以西班牙語與數據庫進行交互。首先，我們創建了自定義數據集，然後藉助參數高效微調（PEFT）技術對模型進行訓練。用戶可以通過語音命令生成指令，系統將以語音、文本或圖像等多模態形式提供響應。

✨ 主要特性

• 多語言支持：支持西班牙語查詢，打破語言障礙。
• 多模態交互：支持語音輸入和語音、文本、圖像輸出。
• 數據增強與訓練：創建自定義數據集並進行數據增強，使用 PEFT 技術進行高效訓練。
• 自動糾錯：通過自動糾錯機制提高查詢結果的準確性。

📦 安裝指南

文檔未提供具體安裝步驟，暫略。

💻 使用示例

文檔未提供代碼示例，暫略。

📚 詳細文檔

模型詳情

描述

本項目對兩個不同的模型進行了微調：

• Mistral 7B
• Code Llama

我們的方法首先是從包含問題及其對應 SQL 的數據中生成數據集，然後使用不同技術對數據進行增強。接著進入訓練階段，訓練完成後進行測試。若存在不一致情況，則進行修正階段，最終以多模態方式獲取預期結果。對於簡短的響應，將以語音形式提供；對於較長的響應，則以表格或圖像形式呈現。

Notebook

以下是指向每個模型訓練筆記本的 GitHub 鏈接：

• CodeLlama：對 Code Llama 模型進行微調以查看結果。
• Mistral：對 Mistral 7B 模型進行量化到 4 位的微調，以便在更多設備上運行。

數據集

數據集鏈接

模型/適配器

CodeLLama 適配器鏈接

演示

演示鏈接

結果

應用該工具後，80% 的數據生成了有利的 SQL 語句。通過自動糾錯機制，準確率提高到了 87%。

貢獻

• 通過音頻或文本向自定義數據庫生成查詢。
• 訓練支持西班牙語的模型以執行 SQL 查詢。
• 使用多模態方法（文本、音頻或圖像）提供查詢響應。
• 通過自動糾錯機制驗證響應質量。

團隊成員

• Asis Heriberto Rangel Ortiz
• Emmanuel Alexis Zarazua Rubio
• Néstor Emmanuel Briones Ramirez
• Ventura Rivera Robles
• Fernando Morales Flores

📄 許可證

本項目採用 Apache-2.0 許可證。