Gemma 2b It Q4 K M GGUF

🚀 codegood/gemma-2b-it-Q4_K_M-GGUF

本项目将模型从 google/gemma-2b-it 转换为 GGUF 格式，转换过程借助 llama.cpp 并通过 ggml.ai 的 GGUF-my-repo 空间完成。如需了解该模型的更多详细信息，请参考 原始模型卡片。

🚀 快速开始

本模型可通过 llama.cpp 使用，以下为具体的使用步骤。

📦 安装指南

可通过 brew 安装 llama.cpp：

brew install ggerganov/ggerganov/llama.cpp

💻 使用示例

基础用法

可通过 CLI 或 Server 方式调用模型。

CLI 方式

llama-cli --hf-repo codegood/gemma-2b-it-Q4_K_M-GGUF --model gemma-2b-it.Q4_K_M.gguf -p "The meaning to life and the universe is"

Server 方式

llama-server --hf-repo codegood/gemma-2b-it-Q4_K_M-GGUF --model gemma-2b-it.Q4_K_M.gguf -c 2048

高级用法

你也可以直接按照 Llama.cpp 仓库中列出的 使用步骤 使用此检查点：

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m gemma-2b-it.Q4_K_M.gguf -n 128

📄 许可证

本项目使用 gemma 许可证。

⚠️ 重要提示

要在 Hugging Face 上访问 Gemma，你需要查看并同意 Google 的使用许可。请确保你已登录 Hugging Face 并点击下方按钮，请求将立即处理。

💡 使用建议

可根据实际需求调整 llama.cpp 调用时的参数，如 --model 指定不同的模型文件，-p 设定不同的输入提示等。