Sqlcoder GGUF

🚀 Sqlcoder - GGUF

Sqlcoder - GGUFは、Defog.aiのSqlcoderモデルのGGUF形式のモデルファイルを提供するリポジトリです。このモデルは、自然言語をSQLクエリに変換するための最先端の大規模言語モデルです。

クイックスタート

このセクションでは、Sqlcoder - GGUFモデルの概要、GGUF形式について説明し、利用可能なリポジトリやプロンプトテンプレート、互換性、提供されるファイル、ダウンロード方法、実行方法などについて解説します。

✨ 主な機能

• 自然言語からSQLクエリへの変換に特化した大規模言語モデル。
• GGUF形式のモデルファイルを提供し、複数のクライアントやライブラリと互換性があります。
• 複数の量子化パラメータオプションがあり、CPU+GPU推論やGPU推論に対応しています。

📦 インストール

GGUFファイルのダウンロード方法

手動でダウンロードする場合は、通常、リポジトリ全体をクローンする必要はありません。複数の量子化形式が提供されており、ほとんどのユーザーは1つのファイルを選択してダウンロードするだけです。

以下のクライアント/ライブラリは、利用可能なモデルのリストを提供し、自動的にモデルをダウンロードします。

• LM Studio
• LoLLMS Web UI
• Faraday.dev

text-generation-webuiでのダウンロード方法

「Download Model」の下で、モデルリポジトリ TheBloke/sqlcoder-GGUF を入力し、その下にダウンロードする特定のファイル名（例：sqlcoder.Q4_K_M.gguf）を入力します。 その後、「Download」をクリックします。

コマンドラインでのダウンロード方法（複数ファイル同時ダウンロードも可能）

huggingface-hub Pythonライブラリを使用することをおすすめします。

pip3 install huggingface-hub

次に、以下のようなコマンドで、任意の個別のモデルファイルを高速で現在のディレクトリにダウンロードできます。

huggingface-cli download TheBloke/sqlcoder-GGUF sqlcoder.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用例

基本的な使用法

# ここには具体的なコード例が元文書になかったため省略

📚 ドキュメント

モデル情報

提供されるファイル

注意: 上記のRAM数値は、GPUオフロードを行わない場合を想定しています。レイヤーをGPUにオフロードすると、RAM使用量が減少し、代わりにVRAMが使用されます。

量子化方法の説明

実行方法

llama.cppでの実行例

llama.cpp をコミット d0cee0d 以降のバージョンを使用していることを確認してください。

./main -ngl 32 -m sqlcoder.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

-ngl 32 をGPUにオフロードするレイヤー数に変更します。GPUアクセラレーションがない場合は、このオプションを削除します。 -c 2048 を目的のシーケンス長に変更します。拡張シーケンスモデル（例：8K、16K、32K）の場合、必要なRoPEスケーリングパラメータはGGUFファイルから読み取られ、llama.cppによって自動的に設定されます。

チャットスタイルの会話を行いたい場合は、-p <PROMPT> 引数を -i -ins に置き換えます。

その他のパラメータとその使い方については、llama.cppのドキュメント を参照してください。

text-generation-webuiでの実行方法

詳細な手順は、text-generation-webui/docs/llama.cpp.md を参照してください。

LangChainでの使用方法

llama-cpp-pythonとctransformersをLangChainと一緒に使用するガイドは次のとおりです。

• LangChain + llama-cpp-python

🔧 技術詳細

GGUFは、2023年8月21日にllama.cppチームによって導入された新しい形式です。これは、llama.cppでサポートされなくなったGGMLの代替品です。

以下は、GGUFをサポートしていることが知られているクライアントとライブラリの不完全なリストです。

• llama.cpp。GGUFのソースプロジェクトです。CLIとサーバーオプションを提供します。
• text-generation-webui、最も広く使用されているWeb UIで、多くの機能と強力な拡張機能があります。GPUアクセラレーションをサポートしています。
• KoboldCpp、完全な機能を備えたWeb UIで、すべてのプラットフォームとGPUアーキテクチャでGPUアクセラレーションが可能です。特にストーリーテリングに適しています。
• LM Studio、WindowsとmacOS（Silicon）用の使いやすく強力なローカルGUIで、GPUアクセラレーションをサポートしています。
• LoLLMS Web UI、多くの興味深い独自の機能を備えた素晴らしいWeb UIで、モデル選択が容易な完全なモデルライブラリがあります。
• Faraday.dev、WindowsとmacOS（SiliconとIntelの両方）用の魅力的で使いやすいキャラクターベースのチャットGUIで、GPUアクセラレーションをサポートしています。
• llama-cpp-python、GPUアクセラレーション、LangChainサポート、およびOpenAI互換APIサーバーを備えたPythonライブラリです。
• candle、パフォーマンスに重点を置いたRust MLフレームワークで、GPUサポートと使いやすさを備えています。

📄 ライセンス

ライセンス情報は「other」です。

ディスコード

これらのモデルやAI全般に関するさらなるサポートや議論に参加するには、以下に参加してください。 TheBloke AIのディスコードサーバー

謝辞と貢献方法

chirper.ai チームに感謝します！ gpus.llm-utils.org のClayに感謝します！

多くの人から貢献できるかどうかを尋ねられました。私はモデルを提供し、人々を助けることが好きで、それにもっと時間を費やし、微調整/トレーニングなどの新しいプロジェクトにも進出できることを楽しみにしています。

貢献できる方は、大変感謝していただけます。これにより、より多くのモデルを提供し、新しいAIプロジェクトの作業を開始するのに役立ちます。

寄付者は、すべてのAI/LLM/モデルに関する質問やリクエストに対して優先的なサポートを受け、プライベートなディスコードルームへのアクセスやその他の特典を受けることができます。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別な感謝: Aemon Algiz。

Patreonでの特別な言及: Alicia Loh, Stephen Murray, K, Ajan Kanaga, RoA, Magnesian, Deo Leter, Olakabola, Eugene Pentland, zynix, Deep Realms, Raymond Fosdick, Elijah Stavena, Iucharbius, Erik Bjäreholt, Luis Javier Navarrete Lozano, Nicholas, theTransient, John Detwiler, alfie_i, knownsqashed, Mano Prime, Willem Michiel, Enrico Ros, LangChain4j, OG, Michael Dempsey, Pierre Kircher, Pedro Madruga, James Bentley, Thomas Belote, Luke @flexchar, Leonard Tan, Johann-Peter Hartmann, Illia Dulskyi, Fen Risland, Chadd, S_X, Jeff Scroggin, Ken Nordquist, Sean Connelly, Artur Olbinski, Swaroop Kallakuri, Jack West, Ai Maven, David Ziegler, Russ Johnson, transmissions 11, John Villwock, Alps Aficionado, Clay Pascal, Viktor Bowallius, Subspace Studios, Rainer Wilmers, Trenton Dambrowitz, vamX, Michael Levine, 준교 김, Brandon Frisco, Kalila, Trailburnt, Randy H, Talal Aujan, Nathan Dryer, Vadim, 阿明, ReadyPlayerEmma, Tiffany J. Kim, George Stoitzev, Spencer Kim, Jerry Meng, Gabriel Tamborski, Cory Kujawski, Jeffrey Morgan, Spiking Neurons AB, Edmond Seymore, Alexandros Triantafyllidis, Lone Striker, Cap'n Zoog, Nikolai Manek, danny, ya boyyy, Derek Yates, usrbinkat, Mandus, TL, Nathan LeClaire, subjectnull, Imad Khwaja, webtim, Raven Klaugh, Asp the Wyvern, Gabriel Puliatti, Caitlyn Gatomon, Joseph William Delisle, Jonathan Leane, Luke Pendergrass, SuperWojo, Sebastain Graf, Will Dee, Fred von Graf, Andrey, Dan Guido, Daniel P. Andersen, Nitin Borwankar, Elle, Vitor Caleffi, biorpg, jjj, NimbleBox.ai, Pieter, Matthew Berman, terasurfer, Michael Davis, Alex, Stanislav Ovsiannikov

すべての寛大なパトロンと寄付者に感謝します！ そして、a16zの寛大な助成金に再度感謝します。

オリジナルのモデルカード: Defog.aiのSqlcoder

Defog SQLCoder

DefogのSQLCoderは、自然言語の質問をSQLクエリに変換するための最先端の大規模言語モデルです。 インタラクティブデモ | ♾️ Colab | 🐦 Twitter

要約

SQLCoderは150億パラメータのモデルで、sql-eval フレームワークでの自然言語からSQL生成タスクにおいて、gpt-3.5-turbo をわずかに上回り、すべての人気のあるオープンソースモデルを大幅に上回ります。また、サイズが10倍以上の text-davinci-003 をも大幅に上回ります。

SQLCoderは、ベースのStarCoderモデルを微調整したものです。

学習で見られなかった新しいデータセットでの結果