Phi 3 Mini 4k Instruct Q4

## 🚀 Phi-3 4k Instructの4ビット量子化バージョン

このモデルはPhi-3 4k Instructの4ビット量子化バージョンです。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

## 🚀 クイックスタート

### 量子化の設定
以下のコードを使用して、モデルを4ビット量子化して読み込むことができます。

```python
bnb_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_use_double_quant = True,
    bnb_4bit_quant_type = 'nf4',
    bnb_4bit_compute_dtype = torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    foundation_model_name,
    device_map = 'auto',
    quantization_config = bnb_config,
    trust_remote_code = True
)

以上の内容では、まず文書の先頭にクリアなタイトルと概要を追加し、量子化に関する説明を行いました。そして、コード部分をそのまま維持し、見やすい形で表示するように整形しました。