Zhaav Gemma3 4B

🚀 zhaav-gemma3-4B

alifzl/zhaav-gemma3-4B_q8_0.ggufモデルは、Gemma 3アーキテクチャに基づいてファインチューニングされた、ペルシャ語専用のモデルです。QLoRAの4ビット量子化を利用することで、計算負荷を軽減しながら、ペルシャ語のテキスト生成と理解において高い性能を発揮します。そのため、GPUのない汎用ハードウェアでの実行にも適しています。

🚀 クイックスタート

このモデルは、Hugging Face TransformersライブラリとOllamaの両方と互換性があります。

Ollamaでの実行

ollama run hf.co/alifzl/zhaav-gemma3-4B:Q8_0

Hugging Face Transformersでの実行

1. 依存関係のインストール:

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

2. モデルとトークナイザーの読み込み:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 利用可能な場合はGPUを使用するには "cuda" を指定
    torch_dtype=torch.bfloat16,  # または torch.float16 を使用
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "تفاوت قهوه موکا با آمریکانو چیه؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📦 インストール

トレーニングデータセット

ファインチューニングは、mshojaei77/Persian_sftデータセットを使用して行われました。このデータセットには、命令に従うことと会話型の対話に焦点を当てた約68万行のペルシャ語テキストが含まれています。

ファインチューニング

• 方法: QLoRA（4ビット量子化）を使用した教師ありファインチューニング（SFT）
• ハードウェア: 1台のT4 GPU
• ソフトウェア: Hugging Face Transformersを利用し、QLoRA用のpeftや量子化用のbitsandbytesなどのサポートライブラリを使用

評価結果

🔧 技術詳細

将来の予定

• 追加の評価指標とベンチマーク
• 拡張されたドキュメントと使用例

📄 ライセンス

gemma