Qwen2 1.5B Ita

🚀 Qwen2 1.5B：性能与 ITALIA (iGenius) 相近，但模型体积小 6 倍

Qwen2 1.5B 是一款专为意大利语微调的紧凑型语言模型。尽管参数规模仅 15 亿，但它表现出色，性能几乎可与拥有 90 亿参数的大型模型相媲美。该模型在微调过程中针对意大利语的各类语言任务进行了优化，在意大利语应用场景中高效且有效。

🔍 模型概述

✨ 主要特性

• 小巧高效：仅 15 亿参数，却能达到接近大型模型的性能。
• 针对性微调：专门针对意大利语的各类语言任务进行优化。
• 多任务表现出色：在 MMLU 基准测试中表现卓越，展现了强大的多任务语言理解能力。

📊 性能评估

Qwen2 1.5B 在多个基准测试中与 ITALIA 模型进行了对比，结果如下：

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "DeepMount00/Qwen2-1.5B-Ita"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = [{'role': 'user', 'content': """Marco ha comprato 5 scatole di cioccolatini. Ogni scatola contiene 12 cioccolatini. Ha deciso di dare 3 cioccolatini a ciascuno dei suoi 7 amici. Quanti cioccolatini gli rimarranno dopo averli distribuiti ai suoi amici?"""}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)
tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.001,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

📄 许可证

本项目采用 Apache - 2.0 许可证。

📚 总结

Qwen2 1.5B 证明了较小、更高效的模型也能达到与大型模型相近的性能水平。它在 MMLU 基准测试中表现出色，显示了其在多任务语言理解方面的优势。虽然在 ARC 和 HELLASWAG 基准测试中的得分略低，但其整体性能使其成为意大利语任务的可行选择，在效率和能力之间取得了平衡。