Gemma 3n E4B It 4bit MLX

🚀 NexaAI/gemma-3n-E4B-it-4bit-MLX

本项目基于 Google 的 Gemma 模型，支持多模态输入，能在低资源设备上高效运行，可处理文本、图像、视频和音频输入并生成文本输出。

🚀 快速开始

安装 nexa-sdk 后即可直接运行。在 nexa-sdk 命令行界面中执行以下命令：

NexaAI/gemma-3n-E4B-it-4bit-MLX

✨ 主要特性

模型概述

Gemma 是 Google 推出的一系列轻量级、先进的开源模型，其使用了与 Gemini 模型相同的研究和技术。Gemma 3n 模型专为在低资源设备上高效运行而设计，支持多模态输入，能够处理文本、图像、视频和音频输入，并生成文本输出。该模型的预训练和指令调优变体的权重均为开源，且使用了超过 140 种口语语言的数据进行训练。

Gemma 3n 模型采用了选择性参数激活技术，以降低资源需求。这种技术使模型能够以 20 亿和 40 亿参数的有效规模运行，低于其包含的总参数数量。有关 Gemma 3n 高效参数管理技术的更多信息，请参阅 Gemma 3n 页面。

输入与输出

• 输入：
  • 文本字符串，如问题、提示或待总结的文档。
  • 图像，归一化为 256x256、512x512 或 768x768 分辨率，并编码为每个 256 个标记。
  • 音频数据，每秒编码为 6.25 个标记，单声道。
  • 总输入上下文为 32000 个标记。
• 输出：
  • 针对输入生成的文本，如问题的答案、图像内容的分析或文档的摘要。
  • 总输出长度最多为 32000 个标记，减去请求输入的标记。

📚 详细文档

基准测试结果

这些模型在全精度（float32）下针对大量不同的数据集和指标进行了评估，以涵盖内容生成的不同方面。标记为 IT 的评估结果是针对指令调优模型的，标记为 PT 的评估结果是针对预训练模型的。

推理与事实性

多语言能力

STEM 和代码能力

其他基准测试

📄 许可证

本项目使用的许可证为 gemma。

🔗 参考资料

原始模型卡片：google/gemma-3n-E4B-it