Zhaav Gemma3 4B

🚀 zhaav-gemma3-4B

alifzl/zhaav-gemma3-4B_q8_0.gguf 模型是一款针对波斯语的特定模型，基于 Gemma 3 架构进行了微调。通过采用 QLoRA 的 4 位量化技术，它在降低计算需求的同时，在生成和理解波斯语文本方面表现出色。因此，该模型适合在没有 GPU 的普通硬件上运行。

🚀 快速开始

此模型与 Hugging Face Transformers 库和 Ollama 均兼容。

使用 Ollama 运行

ollama run hf.co/alifzl/zhaav-gemma3-4B:Q8_0

使用 Hugging Face Transformers 运行

1. 安装依赖项

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

2. 加载模型和分词器

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 若有可用 GPU，使用 "cuda"
    torch_dtype=torch.bfloat16,  # 或者使用 torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "تفاوت قهوه موکا با آمریکانو چیه؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 语言针对性：专为波斯语设计，在波斯语文本的生成和理解方面表现出色。
• 量化技术：采用 QLoRA 的 4 位量化技术，降低计算需求，可在普通硬件上运行。
• 兼容性：与 Hugging Face Transformers 库和 Ollama 兼容。

📦 安装指南

使用 Hugging Face Transformers 运行

1. 安装依赖项

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 若有可用 GPU，使用 "cuda"
    torch_dtype=torch.bfloat16,  # 或者使用 torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "تفاوت قهوه موکا با آمریکانو چیه؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 详细文档

训练数据和微调

训练数据集

微调使用了 mshojaei77/Persian_sft 数据集，该数据集包含约 68 万行波斯语文本，主要关注指令遵循和对话交互。

微调

• 方法：使用 QLoRA（4 位量化）进行监督微调（SFT）。
• 硬件：使用一块 T4 GPU。
• 软件：使用 Hugging Face Transformers，以及 peft 库支持 QLoRA 和 bitsandbytes 库进行量化。

评估结果

未来工作

• 增加更多的评估指标和基准测试。
• 扩展文档和使用示例。

📄 许可证

该模型的许可证为 gemma。