Gemma 3 4b Persian V0

🚀 Gemma 3-4B Persian (v0)

mshojaei77/gemma-3-4b-persian-v0 は、Gemma 3アーキテクチャをベースに構築されたペルシャ語専用のモデルです。QLoRAを用いた4ビット量子化技術を利用し、ペルシャ語のテキスト生成と理解時の計算コストを削減しています。テキスト生成に加え、ベースモデルから引き継いだ画像入力機能も備えています。

🚀 クイックスタート

このモデルは、Hugging Face TransformersライブラリとOllamaの両方と互換性があります。

📦 インストール

Ollamaでの実行

ollama run hf.co/mshojaei77/gemma-3-4b-persian-v0:Q8_0

Hugging Face Transformersでの実行

1. 依存関係のインストール:

pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 accelerate

2. モデルとトークナイザーの読み込み:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "mshojaei77/gemma-3-4b-persian-v0"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 利用可能な場合はGPUを使用するには "cuda" を指定
    torch_dtype=torch.bfloat16,  # または torch.float16 を使用
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "توماس جفرسون کیست؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "mshojaei77/gemma-3-4b-persian-v0"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",  # 利用可能な場合はGPUを使用するには "cuda" を指定
    torch_dtype=torch.bfloat16,  # または torch.float16 を使用
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": "توماس جفرسون کیست؟"
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True, tokenize=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 ドキュメント

トレーニングデータとファインチューニング

トレーニングデータセット

このモデルは、mshojaei77/Persian_sft データセットを使用してファインチューニングされました。このデータセットには、命令に従うことと会話型のインタラクションに焦点を当てた約681,000行のペルシャ語テキストが含まれています。

ファインチューニング

• 方法: QLoRA（4ビット量子化）を使用した教師ありファインチューニング（SFT）
• ハードウェア: 1台のT4 GPU
• ソフトウェア: Hugging Face Transformersを利用し、QLoRA用の peft や量子化用の bitsandbytes などのサポートライブラリを使用
• トレードオフ: 全精度モデルと比較して、メモリ使用量を削減する代わりに、精度が低下する可能性があります。

評価

[近日公開予定]

使用上の考慮事項と制限

想定される使用ケース

• 質問応答: ペルシャ語のクエリに正確に応答する
• 命令実行: ペルシャ語のテキストベースの命令を解釈して実行する
• テキスト生成: 流暢で文脈に沿ったペルシャ語のコンテンツを生成する
• 会話型AI: チャットボットやバーチャルアシスタントに組み込む
• 画像処理: ベースモデルから引き継いだ画像入力機能を維持する

制限事項

• 量子化の影響: 4ビット量子化により、出力の精度が低下し、時折一貫性のない応答が返されることがあります。
• 評価範囲: このバリアントに特化した包括的な評価指標がない。
• バイアス: モデルは、元のGemma 3データとPersian_sftデータセットに含まれるバイアスを反映する可能性があります。
• 幻想情報: すべての大規模言語モデルと同様に、見た目は妥当に見えるが不正確な情報を生成するリスクがあります。
• 安全性: モデルは安全性に関するチューニングを受けていないため、センシティブなコンテキストでの展開時には、特別な注意が必要です。

メンテナンスと将来の予定

このモデルは積極的にメンテナンスされています。将来のアップデートには以下の内容が含まれる可能性があります。

• 追加の評価指標とベンチマーク
• 強化された安全性チューニングとバイアス軽減戦略
• 拡充されたドキュメントと使用例
• 反復的な改善のためのコミュニティフィードバックの取り込み

質問、貢献、または問題がある場合は、ご連絡ください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。