Microsoft Phi 4 GPTQ Int4

🚀 Transformers库使用指南

本项目基于transformers库，使用microsoft/phi-4作为基础模型，为你提供便捷的模型推理功能。

🚀 快速开始

安装依赖

在使用该项目前，你需要安装必要的依赖库。运行以下命令进行安装：

pip install -U transformers optimum auto-gptq

💻 使用示例

基础用法

以下是使用transformers库进行推理的基础代码示例：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
device = "auto"

model_name = "jakiAJK/microsoft-phi-4_GPTQ-int4"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map= device, trust_remote_code= True, torch_dtype= dtype)

model.eval()

chat = [
    { "role": "user", "content": "List any 5 country capitals." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

input_tokens = tokenizer(chat, return_tensors="pt").to('cuda')

output = model.generate(**input_tokens, 
                        max_new_tokens=100)

output = tokenizer.batch_decode(output)

print(output)

此代码示例展示了如何使用transformers库加载预训练模型，并进行简单的推理任务。你可以根据自己的需求修改输入内容和模型参数。