Typhoon2.1 Gemma3 12b Gguf

🚀 Typhoon2.1-Gemma3-12B

Typhoon2.1-Gemma3-12B 是一個指令型泰語大語言模型，擁有 120 億參數、128K 的上下文長度以及函數調用能力。它基於 Gemma3 12B 構建。本倉庫包含原始 Typhoon2.1 12B 的 gguf q4_k_m 量化版本。

需注意，這是一個僅處理文本的模型。

🚀 快速開始

與 llama.cpp 結合使用

可以通過 brew（適用於 Mac 和 Linux）安裝 llama.cpp：

brew install llama.cpp

之後可以調用 llama.cpp 服務器或命令行界面（CLI）。

CLI 使用方式

llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

服務器使用方式

llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

此外，你也可以直接按照 Llama.cpp 倉庫中列出的 使用步驟 來使用此檢查點：

1. 從 GitHub 克隆 llama.cpp：

git clone https://github.com/ggerganov/llama.cpp

2. 進入 llama.cpp 文件夾，並使用 LLAMA_CURL=1 標誌以及其他特定硬件標誌（例如，在 Linux 上使用英偉達 GPU 時設置 LLAMA_CUDA=1）進行編譯：

cd llama.cpp && LLAMA_CURL=1 make

3. 通過主二進制文件運行推理：

./llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

✨ 主要特性

• 參數規模：擁有 120 億參數，具備強大的語言理解和生成能力。
• 上下文長度：支持 128K 的上下文長度，能夠處理更長的文本輸入。
• 函數調用：具備函數調用能力，可實現更復雜的交互。

📦 安裝指南

通過 brew 安裝 llama.cpp：

brew install llama.cpp

💻 使用示例

基礎用法

使用 CLI 進行推理：

llama-cli --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -p "The meaning to life and the universe is"

高級用法

使用服務器模式進行推理：

llama-server --hf-repo scb10x/typhoon2.1-gemma3-12b-gguf --hf-file typhoon2.1-gemma3-12b-q4_k_m.gguf -c 2048

📚 詳細文檔

性能表現

📄 許可證

本模型使用 gemma 許可證。

📋 模型信息