Zhaav Gemma3 4B

🚀 zhaav-gemma3-4B

alifzl/zhaav-gemma3-4B_q8_0.gguf 模型是一款針對波斯語的特定模型，基於 Gemma 3 架構進行了微調。通過採用 QLoRA 的 4 位量化技術，它在降低計算需求的同時，在生成和理解波斯語文本方面表現出色。因此，該模型適合在沒有 GPU 的普通硬件上運行。

🚀 快速開始

此模型與 Hugging Face Transformers 庫和 Ollama 均兼容。

使用 Ollama 運行

ollama run hf.co/alifzl/zhaav-gemma3-4B:Q8_0

使用 Hugging Face Transformers 運行

1. 安裝依賴項

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

2. 加載模型和分詞器

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 若有可用 GPU，使用 "cuda"
    torch_dtype=torch.bfloat16,  # 或者使用 torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "تفاوت قهوه موکا با آمریکانو چیه؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 語言針對性：專為波斯語設計，在波斯語文本的生成和理解方面表現出色。
• 量化技術：採用 QLoRA 的 4 位量化技術，降低計算需求，可在普通硬件上運行。
• 兼容性：與 Hugging Face Transformers 庫和 Ollama 兼容。

📦 安裝指南

使用 Hugging Face Transformers 運行

1. 安裝依賴項

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "alifzl/zhaav-gemma3-4B_q8_0.gguf"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 若有可用 GPU，使用 "cuda"
    torch_dtype=torch.bfloat16,  # 或者使用 torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "تفاوت قهوه موکا با آمریکانو چیه؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 詳細文檔

訓練數據和微調

訓練數據集

微調使用了 mshojaei77/Persian_sft 數據集，該數據集包含約 68 萬行波斯語文本，主要關注指令遵循和對話交互。

微調

• 方法：使用 QLoRA（4 位量化）進行監督微調（SFT）。
• 硬件：使用一塊 T4 GPU。
• 軟件：使用 Hugging Face Transformers，以及 peft 庫支持 QLoRA 和 bitsandbytes 庫進行量化。

評估結果

未來工作

• 增加更多的評估指標和基準測試。
• 擴展文檔和使用示例。

📄 許可證

該模型的許可證為 gemma。