Gemma 3n E4B It 4bit MLX

🚀 NexaAI/gemma-3n-E4B-it-4bit-MLX

本項目基於 Google 的 Gemma 模型，支持多模態輸入，能在低資源設備上高效運行，可處理文本、圖像、視頻和音頻輸入並生成文本輸出。

🚀 快速開始

安裝 nexa-sdk 後即可直接運行。在 nexa-sdk 命令行界面中執行以下命令：

NexaAI/gemma-3n-E4B-it-4bit-MLX

✨ 主要特性

模型概述

Gemma 是 Google 推出的一系列輕量級、先進的開源模型，其使用了與 Gemini 模型相同的研究和技術。Gemma 3n 模型專為在低資源設備上高效運行而設計，支持多模態輸入，能夠處理文本、圖像、視頻和音頻輸入，並生成文本輸出。該模型的預訓練和指令調優變體的權重均為開源，且使用了超過 140 種口語語言的數據進行訓練。

Gemma 3n 模型採用了選擇性參數激活技術，以降低資源需求。這種技術使模型能夠以 20 億和 40 億參數的有效規模運行，低於其包含的總參數數量。有關 Gemma 3n 高效參數管理技術的更多信息，請參閱 Gemma 3n 頁面。

輸入與輸出

• 輸入：
  • 文本字符串，如問題、提示或待總結的文檔。
  • 圖像，歸一化為 256x256、512x512 或 768x768 分辨率，並編碼為每個 256 個標記。
  • 音頻數據，每秒編碼為 6.25 個標記，單聲道。
  • 總輸入上下文為 32000 個標記。
• 輸出：
  • 針對輸入生成的文本，如問題的答案、圖像內容的分析或文檔的摘要。
  • 總輸出長度最多為 32000 個標記，減去請求輸入的標記。

📚 詳細文檔

基準測試結果

這些模型在全精度（float32）下針對大量不同的數據集和指標進行了評估，以涵蓋內容生成的不同方面。標記為 IT 的評估結果是針對指令調優模型的，標記為 PT 的評估結果是針對預訓練模型的。

推理與事實性

多語言能力

STEM 和代碼能力

其他基準測試

📄 許可證

本項目使用的許可證為 gemma。

🔗 參考資料

原始模型卡片：google/gemma-3n-E4B-it