Qwen2.5 0.5b Test Ft

🚀 Qwen 2.5 0.5B模型

本模型是一個輕量且強大的語言模型，經過訓練後能夠以出色的質量回答各種問題。儘管它的規模較小，但表現出了與Llama 3.2 1B相當的性能，在某些情況下甚至更勝一籌。該模型是在Magpie 300k數據集中的12,800行數據上進行專門訓練的。

🚀 快速開始

模型描述

此模型是一個緊湊但功能強大的語言模型，經過訓練可以高質量地回答各種問題。儘管其規模較小，但表現出了與Llama 3.2 1B相當的性能，在某些情況下甚至更優。該模型專門在Magpie 300k數據集中的12,800行數據上進行了訓練。

性能表現

Qwen 2.5模型在包括“草莓測試、小數比較測試”等各種測試中展現出了良好的結果，能夠成功給出準確答案。不過，需要注意的是，和許多同規模的模型一樣，它偶爾也可能會給出錯誤答案或推理存在缺陷。後續計劃通過持續改進和全面訓練來進一步提升其性能。

使用方法

要使用Qwen 2.5模型，你可以使用Hugging Face Transformers庫來加載它。以下是一個簡單的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "KingNish/Qwen2.5-0.5b-Test-ft"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Which is greater 9.9 or 9.11 ??"
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

未來規劃

我正在積極致力於通過在更大的數據集上進行訓練來改進Qwen 2.5模型。

📦 模型信息

本Qwen2模型使用Unsloth和Huggingface的TRL庫進行訓練，訓練速度提升了2倍。

📄 許可證

本模型採用apache-2.0許可證。