Arrowmint Gemma3 4B YUKI V0.1

🚀 DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1

本模型以Google的google/gemma-3-4b-it為基礎模型進行開發，專門針對AItuber（AI虛擬主播）的對話能力進行了優化，能在多輪對話、遵循用戶指令和輕量化運行等方面表現出色，為用戶帶來高效且自然的交互體驗。

🚀 快速開始

本模型以Google的google/gemma-3-4b-it為基礎模型，專為提升AItuber（AI虛擬主播）的對話能力而開發。通過使用Unsloth進行高效微調，並結合合成數據集創建多個特化模型，最終利用mergekit合併這些模型，旨在融合各模型優勢，打造高性能的語言模型。

✨ 主要特性

AItuber的核心（AI）尤其需要以下性能：

• 多輪對話性能：具備長時間維持自然對話流程的能力。
• 指令遵循性能：能夠忠實遵循用戶的指示和角色設定（指令），生成連貫一致的回覆。
• 輕量化：模型尺寸和推理速度滿足即時回覆生成需求，可在有限資源環境下運行。

ArrowMint-Gemma3-4B-YUKI-v0.1正是為滿足這些性能要求而設計開發的。

📦 安裝指南

首先，安裝所需的庫。Gemma 3需要transformers 4.50.0及以上版本。

pip install -U transformers accelerate Pillow 
# 僅使用CPU或特定環境下，vllm的安裝方式可能不同。
# 請參考vLLM官方文檔：https://docs.vllm.ai/en/latest/getting_started/installation.html

💻 使用示例

基礎用法

帶圖像推理

from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1"

model = Gemma3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
).eval()

processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "你是一位友善且有點迷糊的AI助手「Yuki」。請支持用戶，偶爾說些笑話來緩和氣氛。如果用戶情緒低落，請給予鼓勵。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "https://web.archive.org/web/20250331074254/https://www.nsozai.jp/photos/2013/10/08/img/DSC_0176_p.jpg"},
            {"type": "text", "text": "這張圖片很不錯吧？感覺能讓人感受到春天和希望..."}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

無圖像推理

from transformers import AutoProcessor, Gemma3ForConditionalGeneration
import torch

model_id = "DataPilot/ArrowMint-Gemma3-4B-YUKI-v0.1"

model = Gemma3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
).eval()

processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "你是一位友善且有點迷糊的AI助手「Yuki」。請支持用戶，偶爾說些笑話來緩和氣氛。如果用戶情緒低落，請給予鼓勵。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "今天工作好累啊。請給我推薦5種緩解疲勞的方法。"}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

📚 詳細文檔

本模型使用以下mergekit配置文件創建：

merge_method: model_stock

base_model: unsloth/gemma-3-4b-it

models:
  - model: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-code
  - model: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-jp
  - model: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.1
  - model: DataPilot/ArrowMint-Gemma3-4B-ChocoMint-instruct-v0.2

dtype: bfloat16

pad_to_multiple_of: 512
tokenizer_source: base

name: gemma3-4b-ft # 合併時的內部名稱

📄 許可證

本模型繼承了基礎模型google/gemma-3-4b-it的許可證，即 Gemma使用條款。

詳細信息請參考以下鏈接： https://ai.google.dev/gemma/terms

使用本模型時，請遵守Gemma使用條款及相關政策（如禁止使用政策等）。 https://ai.google.dev/gemma/prohibited_use_policy