Phi 3 Mini 4k Instruct Q4

🚀 Phi-3 4k Instruct 4位量化版本

這是 Phi-3 4k Instruct 的 4 位量化版本。此版本通過量化技術，在一定程度上減少了模型的內存佔用，提高了推理效率。

🚀 快速開始

以下是進行量化操作的代碼示例：

bnb_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_use_double_quant = True,
    bnb_4bit_quant_type = 'nf4',
    bnb_4bit_compute_dtype = torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    foundation_model_name,
    device_map = 'auto',
    quantization_config = bnb_config,
    trust_remote_code = True
)

💻 使用示例

基礎用法

# 以下代碼展示瞭如何使用量化配置加載模型
bnb_config = BitsAndBytesConfig(
    load_in_4bit = True,
    bnb_4bit_use_double_quant = True,
    bnb_4bit_quant_type = 'nf4',
    bnb_4bit_compute_dtype = torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    foundation_model_name,
    device_map = 'auto',
    quantization_config = bnb_config,
    trust_remote_code = True
)

[高級用法]

由於文檔未提供高級用法的相關代碼，暫不展示。