Mistral 7b Text To Sql Full Model

🚀 mistral-7b-text-to-sql_full-model

このモデルは、自然言語をSQLクエリに変換するために、Mistral-7B-v0.1を微調整したものです。

🚀 クイックスタート

このモデルは、mistralai/Mistral-7B-v0.1をb-mc2/sql-create-contextデータセットで微調整したバージョンです。以下に生成に使用するコードを示します。

import torch

from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM

# Load model directly

tokenizer = AutoTokenizer.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")
model = AutoModelForCausalLM.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")

text = "How many matched scored 3–6, 7–6(5), 6–3?"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主な機能

• 自然言語をSQLクエリに変換することができます。
• Mistral-7B-v0.1をベースにしているため、高性能な言語処理能力を持っています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers datasets torch

💻 使用例

基本的な使用法

import torch
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM

# モデルを直接ロード
tokenizer = AutoTokenizer.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")
model = AutoModelForCausalLM.from_pretrained("delayedkarma/mistral-7b-text-to-sql_full-model")

text = "How many matched scored 3–6, 7–6(5), 6–3?"
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 ドキュメント

モデルの詳細

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0002
• 学習バッチサイズ: 3
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 2
• 総学習バッチサイズ: 6
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラのタイプ: 定数
• 学習率スケジューラのウォームアップ比率: 0.03
• エポック数: 3

フレームワークのバージョン

• PEFT 0.7.2.dev0
• Transformers 4.36.2
• Pytorch 2.2.2
• Datasets 2.16.1
• Tokenizers 0.15.2

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

参考情報

• 主要な参考資料: https://www.philschmid.de/fine-tune-llms-in-2024-with-trl