Meta Llama 3.1 8B Text To SQL

🚀 Meta LLaMA 3.1 8B 4-bit ファインチューニング済みモデル

このモデルは、ruslanmvによって開発されたMeta-Llama-3.1-8Bのファインチューニング済みバージョンで、テキスト生成タスクに使用されます。4ビット量子化を利用しており、自然言語生成における高い性能を維持しながら、推論をより効率的に行うことができます。

📚 モデルの詳細

🚀 クイックスタート

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。

pip install transformers accelerate 

💻 使用例

基本的な使用法

以下は、Hugging Faceのtransformersライブラリを使用してこのファインチューニング済みモデルをロードする例です。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# モデルとトークナイザーをロード
model_name = "ruslanmv/Meta-Llama-3.1-8B-Text-to-SQL"

# 適切なデバイス設定を確認
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# Hugging Face Hubからモデルとトークナイザーをロード
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# トークナイザーを初期化（必要に応じてモデル名を調整）
# シーケンスを終了するためのEOSトークンを定義
EOS_TOKEN = tokenizer.eos_token

# Alpacaスタイルのプロンプトテンプレートを定義
alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{}

### Input:
{}

### Response:
"""

# レスポンス部分を除いてプロンプトをフォーマット
prompt = alpaca_prompt.format(
    "Provide the SQL query",
    "Seleziona tutte le colonne della tabella table1 dove la colonna anni è uguale a 2020"
)
# プロンプトをトークナイズしてテキストを生成
inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=64, use_cache=True)

# 生成されたテキストをデコード
generated_text = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]

# 生成されたレスポンスのみを抽出（プロンプト部分を削除）
response_start = generated_text.find("### Response:") + len("### Response:\n")
response = generated_text[response_start:].strip()

# レスポンスを表示（プロンプトを除く）
print(response)

そして、答えは

SELECT * FROM table1 WHERE anni = 2020

✨ 主な機能

• テキスト生成：このモデルは、提供された入力に基づいて、一貫性があり文脈的に正確なテキストを生成するようにファインチューニングされています。

📄 ライセンス

このモデルはApache 2.0ライセンスの下でライセンスされています。ライセンスの条件に従う限り、このモデルを自由に使用、変更、配布することができます。

謝辞

このモデルは、ruslanmvによって、unslothの元の作業とmeta-llama-3.1-8b-bnb-4bitモデルに基づいてファインチューニングされました。