Microsoft Phi 4 GPTQ Int4

🚀 transformers

このライブラリは、microsoft/phi - 4をベースとした自然言語処理タスクを行うためのものです。必要なパッケージをインストールすることで、簡単に推論を行うことができます。

🚀 クイックスタート

このセクションでは、ライブラリの使用を始めるための基本的な手順を説明します。

📦 インストール

必要なパッケージをインストールするには、以下のコマンドを実行します。

pip install -U transformers optimum auto-gptq

💻 使用例

基本的な使用法

以下のコードは、transformersライブラリを使用して推論を行う基本的な例です。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

dtype = torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float16
device = "auto"

model_name = "jakiAJK/microsoft-phi-4_GPTQ-int4"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map= device, trust_remote_code= True, torch_dtype= dtype)

model.eval()

chat = [
    { "role": "user", "content": "List any 5 country capitals." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

input_tokens = tokenizer(chat, return_tensors="pt").to('cuda')

output = model.generate(**input_tokens, 
                        max_new_tokens=100)

output = tokenizer.batch_decode(output)

print(output)