LLM SQL BaseDatosEspanol Mistral

🚀 多モーダルアプローチによるスペイン語でのデータベースとのLLMとSQLの実装

このプロジェクトは、ユーザーのクエリに対して正確なSQLを生成するという長年の課題に取り組みます。これには、クエリとデータベースの両方を深く理解する必要があります。大規模言語モデル（LLM）の能力を活用して、データベースのスキーマに合致し、必要なデータを正確に取得するSQLを生成するソリューションが存在します。しかし、以下のようないくつかの問題があります。

• これらのソリューションは英語で提供されています。
• データベースのスキーマに明示的に含まれていない、またはLLMによって学習されていないいくつかの必要な知識があります。

そこで、多モーダルアプローチを用いて、スペイン語でデータベースと対話できるツールを提案します。まずはカスタムデータセットを作成し、それをPEFT（parameter-efficient fine-tuning）を用いてモデルを訓練します。音声コマンドによって指示を生成し、その応答は音声、テキスト、または画像によって提供されます。

✨ 主な機能

• 音声またはテキストによるカスタムデータベースへのクエリ生成
• スペイン語のテキストでモデルを訓練し、SQLクエリを実行
• 多モーダルアプローチ（テキスト、音声、または画像）でクエリに応答
• 自己修正メカニズムによる応答品質の検証

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

説明

このプロジェクトでは、2つの異なるモデルをファインチューニングしました。

• Mistral 7B
• Code Llama

どちらがより良い結果をもたらすかを調べるためのベースとして使用しました。

方法論として、まず質問とそれに対応するSQLを含むデータセットを生成します。次に、さまざまな技術を用いてデータを拡張します。データが生成されたら、訓練フェーズに移ります。モデルを訓練した後、テストフェーズに入ります。音声またはテキストによる指示を入力し、不一致がある場合は修正フェーズに移ります。多モーダルな方法で期待される結果を取得します。応答が短い場合は音声で結果を提供し、長い場合は表または画像の形式で提示します。

Notebook

各モデルの訓練用のNotebookへのリンクを示します。

まず、Code Llamaモデルをファインチューニングして結果を確認しました。

• CodeLlama

2つ目のモデルとしてMistral7bを使用し、4ビット量子化モデルをファインチューニングして、より多くのデバイスで実行できるようにしました。

• Mistral

データセット

データセットへのリンク

モデル/アダプター

CodeLLamaのアダプターへのリンク

デモ

デモへのリンク

結果

このツールを適用した結果、80％のデータで良好な文が生成され、自己修正を適用すると87％の精度が達成されました。

貢献者

• Asis Heriberto Rangel Ortiz
• Emmanuel Alexis Zarazua Rubio
• Néstor Emmanuel Briones Ramirez
• Ventura Rivera Robles
• Fernando Morales Flores

📄 ライセンス

このプロジェクトはApache 2.0ライセンスの下で提供されています。