Gemma 3n E2B

🚀 Gemma 3n模型介紹

Gemma 3n是谷歌推出的輕量級、最先進的開源模型家族，基於與Gemini模型相同的研究和技術構建。該模型支持文本、音頻和視覺（圖像和視頻）輸入，適用於多種任務和數據格式。

🚀 快速開始

本倉庫對應Gemma 3n E2B的發佈版本，可與Hugging Face的transformers庫配合使用，支持文本、音頻和視覺（圖像和視頻）輸入。

✨ 主要特性

• 多模態支持：能夠處理文本、圖像、視頻和音頻輸入，並生成文本輸出。
• 架構創新：有基於有效參數的兩種尺寸可供選擇；使用MatFormer架構，允許在E4B模型中嵌套子模型。
• 資源高效：通過將低利用率矩陣從加速器中卸載，該模型的內存佔用與傳統的2B模型相當。

📦 安裝指南

首先，安裝transformers庫。Gemma 3n從transformers 4.53.0版本開始支持。

$ pip install -U transformers

💻 使用示例

基礎用法

使用pipeline API進行推理：

from transformers import pipeline
import torch

pipe = pipeline(
    "image-text-to-text",
    model="google/gemma-3n-e2b",
    device="cuda",
    torch_dtype=torch.bfloat16,
)
output = pipe(
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg",
    text="<image_soft_token> in this image, there is"
)

print(output)
# [{'input_text': '<image_soft_token> in this image, there is',
# 'generated_text': '<image_soft_token> in this image, there is a beautiful flower and a bee is sucking nectar and pollen from the flower.'}]

高級用法

在單個GPU上運行模型：

from transformers import AutoProcessor, Gemma3nForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/gemma-3n-e2b"

model = Gemma3nForConditionalGeneration.from_pretrained(model_id, device="cuda", torch_dtype=torch.bfloat16,).eval()

processor = AutoProcessor.from_pretrained(model_id)

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg"
image = Image.open(requests.get(url, stream=True).raw)
prompt = "<image_soft_token> in this image, there is"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)

input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=10)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)
# one picture of flowers which shows that the flower is

📚 詳細文檔

模型信息

模型數據

• 訓練數據集：這些模型在包含多種來源的數據集上進行訓練，總計約11萬億個標記。訓練數據的知識截止日期為2024年6月，包括網頁文檔、代碼、數學、圖像和音頻等。
• 數據預處理：在訓練數據上應用了嚴格的CSAM過濾、敏感數據過濾和其他基於內容質量和安全的過濾方法。

實現信息

• 硬件：Gemma使用張量處理單元（TPU）硬件（TPUv4p、TPUv5p和TPUv5e）進行訓練。
• 軟件：使用JAX和ML Pathways進行訓練。

評估

這些模型在全精度（float32）下針對大量不同的數據集和指標進行了評估，涵蓋了內容生成的不同方面。評估結果分為預訓練模型（PT）和指令調優模型（IT）。

推理和事實性

多語言

STEM和代碼

其他基準測試

倫理和安全

• 評估方法：包括結構化評估和內部紅隊測試，評估內容涵蓋兒童安全、內容安全和代表性危害等方面。
• 評估結果：在所有安全測試領域，模型在兒童安全、內容安全和代表性危害等類別中表現出安全水平，相對於之前的Gemma模型有顯著改進。

使用和限制

• 預期用途：該模型可用於內容創作和通信、研究和教育等多個領域。
• 限制：模型的性能受訓練數據的質量和多樣性、上下文和任務複雜度等因素的影響。

🔧 技術細節

瞭解更多關於這些技術的信息，請參閱技術博客文章和Gemma文檔。

📄 許可證

許可證為Gemma。

引用

@article{gemma_3n_2025,
    title={Gemma 3n},
    url={https://ai.google.dev/gemma/docs/gemma-3n},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

重要提示

⚠️ 重要提示

本倉庫對應Gemma 3n E2B的發佈版本，需與Hugging Face的transformers庫配合使用，支持文本、音頻和視覺（圖像和視頻）輸入。

💡 使用建議

要在Hugging Face上訪問Gemma，您需要審查並同意Google的使用許可。請確保您已登錄Hugging Face並點擊下方按鈕，請求將立即處理。