Qwen2 1.5B Ita

🚀 Qwen2 1.5B: イタリアのiGenius社のモデルとほぼ同性能だが、サイズは6分の1

Qwen2 1.5Bは、イタリア語用に特化して微調整されたコンパクトな言語モデルです。パラメータ数が15億と比較的少ないにも関わらず、iGenius社の90億パラメータのITALIAモデルとほぼ同じ性能を発揮します。

🚀 クイックスタート

Qwen2 1.5Bは、イタリア語用に最適化されたコンパクトな言語モデルです。以下に、このモデルの基本的な使用方法を示します。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "DeepMount00/Qwen2-1.5B-Ita"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = [{'role': 'user', 'content': """Marco ha comprato 5 scatole di cioccolatini. Ogni scatola contiene 12 cioccolatini. Ha deciso di dare 3 cioccolatini a ciascuno dei suoi 7 amici. Quanti cioccolatini gli rimarranno dopo averli distribuiti ai suoi amici?"""}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)
tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.001,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

✨ 主な機能

モデル概要

• モデル名: Qwen2 1.5B（イタリア語用に微調整）
• バージョン: 1.5b
• モデルタイプ: 言語モデル
• パラメータ数: 15億
• 対応言語: イタリア語
• 比較対象モデル: iGenius社のITALIA（90億パラメータ）

モデル説明

Qwen2 1.5Bは、イタリア語用に特化して微調整されたコンパクトな言語モデルです。パラメータ数が15億と比較的少ないにも関わらず、iGenius社の90億パラメータのITALIAモデルとほぼ同じ性能を発揮します。微調整プロセスでは、イタリア語の様々な言語タスクに最適化することに焦点を当てており、イタリア語アプリケーションに非常に効率的で有効です。

性能評価

Qwen2 1.5Bの性能は、いくつかのベンチマークで評価され、ITALIAモデルと比較されました。結果は以下の通りです。

🔧 技術詳細

Qwen2 1.5Bは、小規模で効率的なモデルでありながら、大規模なモデルと匹敵する性能を達成しています。特に、MMLUベンチマークで優れた成績を収めており、マルチタスク言語理解能力が高いことを示しています。ARCやHELLASWAGベンチマークでは若干低いスコアを記録していますが、全体的な性能から、イタリア語タスクにおいて、効率性と能力のバランスが取れた選択肢となっています。

📄 ライセンス

このライブラリは、Apache-2.0ライセンスの下で提供されています。