Qwen2.5 0.5b Test Ft

🚀 Qwen 2.5 0.5B模型

本模型是一个轻量且强大的语言模型，经过训练后能够以出色的质量回答各种问题。尽管它的规模较小，但表现出了与Llama 3.2 1B相当的性能，在某些情况下甚至更胜一筹。该模型是在Magpie 300k数据集中的12,800行数据上进行专门训练的。

🚀 快速开始

模型描述

此模型是一个紧凑但功能强大的语言模型，经过训练可以高质量地回答各种问题。尽管其规模较小，但表现出了与Llama 3.2 1B相当的性能，在某些情况下甚至更优。该模型专门在Magpie 300k数据集中的12,800行数据上进行了训练。

性能表现

Qwen 2.5模型在包括“草莓测试、小数比较测试”等各种测试中展现出了良好的结果，能够成功给出准确答案。不过，需要注意的是，和许多同规模的模型一样，它偶尔也可能会给出错误答案或推理存在缺陷。后续计划通过持续改进和全面训练来进一步提升其性能。

使用方法

要使用Qwen 2.5模型，你可以使用Hugging Face Transformers库来加载它。以下是一个简单的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "KingNish/Qwen2.5-0.5b-Test-ft"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Which is greater 9.9 or 9.11 ??"
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(response)

未来规划

我正在积极致力于通过在更大的数据集上进行训练来改进Qwen 2.5模型。

📦 模型信息

本Qwen2模型使用Unsloth和Huggingface的TRL库进行训练，训练速度提升了2倍。

📄 许可证

本模型采用apache-2.0许可证。