Microsoft Phi 4 GPTQ Int4

🚀 Transformers庫使用指南

本項目基於transformers庫，使用microsoft/phi-4作為基礎模型，為你提供便捷的模型推理功能。

🚀 快速開始

安裝依賴

在使用該項目前，你需要安裝必要的依賴庫。運行以下命令進行安裝：

pip install -U transformers optimum auto-gptq

💻 使用示例

基礎用法

以下是使用transformers庫進行推理的基礎代碼示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
device = "auto"

model_name = "jakiAJK/microsoft-phi-4_GPTQ-int4"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map= device, trust_remote_code= True, torch_dtype= dtype)

model.eval()

chat = [
    { "role": "user", "content": "List any 5 country capitals." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

input_tokens = tokenizer(chat, return_tensors="pt").to('cuda')

output = model.generate(**input_tokens, 
                        max_new_tokens=100)

output = tokenizer.batch_decode(output)

print(output)

此代碼示例展示瞭如何使用transformers庫加載預訓練模型，並進行簡單的推理任務。你可以根據自己的需求修改輸入內容和模型參數。