Gemma 3 4b It Speech

🚀 Gemma 3 MM模型卡片

Gemma-3-MM 是一個開源的多模態指令模型，它在原始Gemma-3模型的基礎上進行了擴展，增加了語音處理能力。這些模型利用了原始Gemma-3模型中的語言和視覺研究成果，並通過語音適配器融入了額外的語音處理能力。該模型可以處理文本、圖像和音頻輸入，生成文本輸出，並且具有128K的令牌上下文長度（1B模型為32K）。

🚀 快速開始

運行環境準備

首先，升級你的Transformers庫。現在支持在聊天模板中使用音頻輸入。

$ pip install -U transformers

運行模型

根據不同的使用場景，你可以選擇以下兩種方式運行模型：

基於聊天模板運行模型

from transformers import AutoProcessor, AutoModel
import torch

model_id = "junnei/gemma-3-4b-it-speech"
revision = "main" # 或者 "korean"。

model = AutoModel.from_pretrained(
    model_id, device_map="auto", revision = revision, trust_remote_code=True
).eval()

processor = AutoProcessor.from_pretrained(
    model_id, revision = revision, trust_remote_code=True
)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "audio": "https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/examples/what_is_shown_in_this_image.wav"},
            {"type": "text", "text": "將這段音頻轉錄為文本。"}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
)

with torch.inference_mode():
    generate_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
    generate_ids = generate_ids[:, inputs['input_ids'].shape[1] :]
    response = processor.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]
print(response)

# 這段音頻裡說了什麼？

基於原始數據運行模型

from io import BytesIO
from urllib.request import urlopen
import soundfile
from PIL import Image

# 從URL獲取音頻數據
url = "https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/examples/what_is_shown_in_this_image.wav"
audio, sr = soundfile.read(BytesIO(urlopen(url).read()))
audio_token = '<start_of_audio>'

messages = [
    {'role': 'user', 'content': audio_token + '將這段音頻翻譯成韓語。'}
]

prompt = processor.tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

inputs = processor(text=prompt, audio=[audio], add_special_tokens=False, return_tensors="pt")

with torch.inference_mode():
    generate_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
    generate_ids = generate_ids[:, inputs['input_ids'].shape[1] :]
    response = processor.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]
print(response)

模型微調

這裡有一個微調腳本：鏈接

你必須更改輸出目錄、上傳目錄，並適配你的數據集

python finetune_speech.py

✨ 主要特性

• 多模態處理：能夠處理文本、圖像和音頻輸入，生成文本輸出。
• 語音處理能力：在原始Gemma-3模型的基礎上增加了語音處理能力。
• 長上下文長度：具有128K的令牌上下文長度（1B模型為32K）。

📦 安裝指南

升級Transformers庫：

$ pip install -U transformers

💻 使用示例

基礎用法

基於聊天模板運行模型，示例代碼如下：

from transformers import AutoProcessor, AutoModel
import torch

model_id = "junnei/gemma-3-4b-it-speech"
revision = "main" # 或者 "korean"。

model = AutoModel.from_pretrained(
    model_id, device_map="auto", revision = revision, trust_remote_code=True
).eval()

processor = AutoProcessor.from_pretrained(
    model_id, revision = revision, trust_remote_code=True
)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "audio": "https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/examples/what_is_shown_in_this_image.wav"},
            {"type": "text", "text": "將這段音頻轉錄為文本。"}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
)

with torch.inference_mode():
    generate_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
    generate_ids = generate_ids[:, inputs['input_ids'].shape[1] :]
    response = processor.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]
print(response)

# 這段音頻裡說了什麼？

高級用法

基於原始數據運行模型，示例代碼如下：

from io import BytesIO
from urllib.request import urlopen
import soundfile
from PIL import Image

# 從URL獲取音頻數據
url = "https://huggingface.co/microsoft/Phi-4-multimodal-instruct/resolve/main/examples/what_is_shown_in_this_image.wav"
audio, sr = soundfile.read(BytesIO(urlopen(url).read()))
audio_token = '<start_of_audio>'

messages = [
    {'role': 'user', 'content': audio_token + '將這段音頻翻譯成韓語。'}
]

prompt = processor.tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

inputs = processor(text=prompt, audio=[audio], add_special_tokens=False, return_tensors="pt")

with torch.inference_mode():
    generate_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
    generate_ids = generate_ids[:, inputs['input_ids'].shape[1] :]
    response = processor.batch_decode(
        generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False
    )[0]
print(response)

📚 詳細文檔

評估

模型評估指標和結果。這裡有一個評估腳本用於評估模型。

ASR評估結果

AST評估結果

(實驗性) ASR：韓語分支

由於未應用韓語歸一化器，分數較低。

模型詳情

• 開發者：junnei
• 模型類型：多模態（文本、視覺、語音）語言模型
• 支持語言：多語言
• 許可證：Gemma
• 基礎模型：google/gemma-3-4b-it
• 靈感來源：Phi-4-multimodal-instruct

訓練詳情

• 訓練方式：在基礎Gemma-3-4b-it模型上添加了一個596B參數的語音LoRA適配器。
• 訓練資源限制：由於計算資源有限，該模型僅在ASR（自動語音識別）和AST（自動語音翻譯）任務上，使用A100 1 GPU對有限的數據集和輪次進行了訓練。
• 訓練數據限制：訓練數據僅限於英語和韓語，且音頻時長小於30秒。

數據集

ASR / AST

• Covost2數據集 / 無下載版本
• LibriSpeech
• Fleurs
• Zeroth

侷限性

請注意，該模型僅用於實驗目的，是一個概念驗證（PoC），不適合用於生產環境。為了提高模型的性能和可靠性，以下方面需要進一步開發：

• 更多計算資源：需要更多的計算資源進行擴展訓練。
• 任務範圍：目前，該模型僅適用於視覺 - 語言任務和音頻 - 語言任務（ASR/AST）。
• 音頻時長限制：由於計算資源不足，該模型主要識別時長小於30秒的音頻文件。因此，對於較長的音頻輸入，準確性可能會顯著下降。
• 未來計劃：如果可能，將對模型進行訓練以支持語音 - 視覺任務和更多的音頻 - 語言任務。

🔧 技術細節

• 模型在原始Gemma-3模型的基礎上，通過語音適配器融入了額外的語音處理能力。
• 訓練時在基礎Gemma-3-4b-it模型上添加了一個596B參數的語音LoRA適配器。

📄 許可證

本模型使用的許可證為 Gemma。

📖 引用

@article{gemma3mm_2025,
    title={Gemma-3-MM: Multimodal Language Models with Speech Capabilities},
    author={Seongjun Jang},
    year={2025}
}