Gemma 3n E2B

🚀 Gemma 3n模型介绍

Gemma 3n是谷歌推出的轻量级、最先进的开源模型家族，基于与Gemini模型相同的研究和技术构建。该模型支持文本、音频和视觉（图像和视频）输入，适用于多种任务和数据格式。

🚀 快速开始

本仓库对应Gemma 3n E2B的发布版本，可与Hugging Face的transformers库配合使用，支持文本、音频和视觉（图像和视频）输入。

✨ 主要特性

• 多模态支持：能够处理文本、图像、视频和音频输入，并生成文本输出。
• 架构创新：有基于有效参数的两种尺寸可供选择；使用MatFormer架构，允许在E4B模型中嵌套子模型。
• 资源高效：通过将低利用率矩阵从加速器中卸载，该模型的内存占用与传统的2B模型相当。

📦 安装指南

首先，安装transformers库。Gemma 3n从transformers 4.53.0版本开始支持。

$ pip install -U transformers

💻 使用示例

基础用法

使用pipeline API进行推理：

from transformers import pipeline
import torch

pipe = pipeline(
    "image-text-to-text",
    model="google/gemma-3n-e2b",
    device="cuda",
    torch_dtype=torch.bfloat16,
)
output = pipe(
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg",
    text="<image_soft_token> in this image, there is"
)

print(output)
# [{'input_text': '<image_soft_token> in this image, there is',
# 'generated_text': '<image_soft_token> in this image, there is a beautiful flower and a bee is sucking nectar and pollen from the flower.'}]

高级用法

在单个GPU上运行模型：

from transformers import AutoProcessor, Gemma3nForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/gemma-3n-e2b"

model = Gemma3nForConditionalGeneration.from_pretrained(model_id, device="cuda", torch_dtype=torch.bfloat16,).eval()

processor = AutoProcessor.from_pretrained(model_id)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"
image = Image.open(requests.get(url, stream=True).raw)
prompt = "<image_soft_token> in this image, there is"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)

input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=10)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)
# one picture of flowers which shows that the flower is

📚 详细文档

模型信息

模型数据

• 训练数据集：这些模型在包含多种来源的数据集上进行训练，总计约11万亿个标记。训练数据的知识截止日期为2024年6月，包括网页文档、代码、数学、图像和音频等。
• 数据预处理：在训练数据上应用了严格的CSAM过滤、敏感数据过滤和其他基于内容质量和安全的过滤方法。

实现信息

• 硬件：Gemma使用张量处理单元（TPU）硬件（TPUv4p、TPUv5p和TPUv5e）进行训练。
• 软件：使用JAX和ML Pathways进行训练。

评估

这些模型在全精度（float32）下针对大量不同的数据集和指标进行了评估，涵盖了内容生成的不同方面。评估结果分为预训练模型（PT）和指令调优模型（IT）。

推理和事实性

多语言

STEM和代码

其他基准测试

伦理和安全

• 评估方法：包括结构化评估和内部红队测试，评估内容涵盖儿童安全、内容安全和代表性危害等方面。
• 评估结果：在所有安全测试领域，模型在儿童安全、内容安全和代表性危害等类别中表现出安全水平，相对于之前的Gemma模型有显著改进。

使用和限制

• 预期用途：该模型可用于内容创作和通信、研究和教育等多个领域。
• 限制：模型的性能受训练数据的质量和多样性、上下文和任务复杂度等因素的影响。

🔧 技术细节

了解更多关于这些技术的信息，请参阅技术博客文章和Gemma文档。

📄 许可证

许可证为Gemma。

引用

@article{gemma_3n_2025,
    title={Gemma 3n},
    url={https://ai.google.dev/gemma/docs/gemma-3n},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

重要提示

⚠️ 重要提示

本仓库对应Gemma 3n E2B的发布版本，需与Hugging Face的transformers库配合使用，支持文本、音频和视觉（图像和视频）输入。

💡 使用建议

要在Hugging Face上访问Gemma，您需要审查并同意Google的使用许可。请确保您已登录Hugging Face并点击下方按钮，请求将立即处理。