Typhoon2.1 Gemma3 12b Gguf

🚀 Typhoon2.1-Gemma3-12B

Typhoon2.1-Gemma3-12B 是一个指令型泰语大语言模型，拥有 120 亿参数、128K 的上下文长度以及函数调用能力。它基于 Gemma3 12B 构建。本仓库包含原始 Typhoon2.1 12B 的 gguf q4_k_m 量化版本。

需注意，这是一个仅处理文本的模型。

🚀 快速开始

与 llama.cpp 结合使用

可以通过 brew（适用于 Mac 和 Linux）安装 llama.cpp：

brew install llama.cpp

之后可以调用 llama.cpp 服务器或命令行界面（CLI）。

CLI 使用方式

llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

服务器使用方式

llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

此外，你也可以直接按照 Llama.cpp 仓库中列出的 使用步骤 来使用此检查点：

1. 从 GitHub 克隆 llama.cpp：

git clone https://github.com/ggerganov/llama.cpp

2. 进入 llama.cpp 文件夹，并使用 LLAMA_CURL=1 标志以及其他特定硬件标志（例如，在 Linux 上使用英伟达 GPU 时设置 LLAMA_CUDA=1）进行编译：

cd llama.cpp && LLAMA_CURL=1 make

3. 通过主二进制文件运行推理：

./llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

✨ 主要特性

• 参数规模：拥有 120 亿参数，具备强大的语言理解和生成能力。
• 上下文长度：支持 128K 的上下文长度，能够处理更长的文本输入。
• 函数调用：具备函数调用能力，可实现更复杂的交互。

📦 安装指南

通过 brew 安装 llama.cpp：

brew install llama.cpp

💻 使用示例

基础用法

使用 CLI 进行推理：

llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

高级用法

使用服务器模式进行推理：

llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

📚 详细文档

性能表现

📄 许可证

本模型使用 gemma 许可证。

📋 模型信息