Qwen2 1.5B Ita

🚀 Qwen2 1.5B：性能與 ITALIA (iGenius) 相近，但模型體積小 6 倍

Qwen2 1.5B 是一款專為意大利語微調的緊湊型語言模型。儘管參數規模僅 15 億，但它表現出色，性能幾乎可與擁有 90 億參數的大型模型相媲美。該模型在微調過程中針對意大利語的各類語言任務進行了優化，在意大利語應用場景中高效且有效。

🔍 模型概述

✨ 主要特性

• 小巧高效：僅 15 億參數，卻能達到接近大型模型的性能。
• 針對性微調：專門針對意大利語的各類語言任務進行優化。
• 多任務表現出色：在 MMLU 基準測試中表現卓越，展現了強大的多任務語言理解能力。

📊 性能評估

Qwen2 1.5B 在多個基準測試中與 ITALIA 模型進行了對比，結果如下：

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "DeepMount00/Qwen2-1.5B-Ita"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = [{'role': 'user', 'content': """Marco ha comprato 5 scatole di cioccolatini. Ogni scatola contiene 12 cioccolatini. Ha deciso di dare 3 cioccolatini a ciascuno dei suoi 7 amici. Quanti cioccolatini gli rimarranno dopo averli distribuiti ai suoi amici?"""}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)
tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.001,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 總結

Qwen2 1.5B 證明了較小、更高效的模型也能達到與大型模型相近的性能水平。它在 MMLU 基準測試中表現出色，顯示了其在多任務語言理解方面的優勢。雖然在 ARC 和 HELLASWAG 基準測試中的得分略低，但其整體性能使其成為意大利語任務的可行選擇，在效率和能力之間取得了平衡。