# 本地化部署

Jan-Nano是一款40亿参数的紧凑型语言模型，专为深度研究任务设计，优化支持MCP服务器集成。

OpenAudio的GGUF量化版本是基于FishAudio模型的文本到语音合成工具，支持通过简单命令运行，提供便捷的语音合成体验。

这是一个基于Qwen/Qwen3-235B-A22B模型转换而来的混合3-6位量化版本，适用于苹果MLX框架的高效推理。

Foundation-Sec-8B是一个开源的80亿参数基础语言模型，专为网络安全应用设计，扩展了Llama-3.1-8B模型。

这是Qwen3-8B模型的GGUF格式版本，适用于llama.cpp框架，支持文本生成任务。

Qwen3-30B-A3B的GGUF量化版本，支持多种比特量化，适用于文本生成任务。

Qwen3-8B的GGUF格式量化版本，由TensorBlock提供，兼容llama.cpp

Qwen3-0.6B的GGUF量化版本，适用于文本生成任务。

Qwen3-8B的量化版本，使用llama.cpp的imatrix选项进行量化，适用于文本生成任务。

OuteTTS是一个专注于土耳其语的文本转语音(TTS)模型，基于500M参数规模，能够将土耳其语文本转换为自然语音。

Medra是一款专为临床推理、教育和对话建模设计的轻量级医学语言模型，基于Gemma 3构建，适用于本地和移动端环境。

DeepSeek-R1 是一个高效的大语言模型，采用了 Unsloth Dynamic v2.0 量化技术，实现了卓越的准确性。

本模型是基于canopylabs/3b-zh-ft-research_release转换而来的GGUF格式模型，适用于中文文本生成任务。

基于google/gemma-3-4b-it模型训练的多模态模型，专注于数学、编程、科学和解谜领域的高质量数据处理。

这是一个基于韩语优化的3B参数规模的语言模型，转换为GGUF格式以便与llama.cpp兼容使用。

该模型是基于canopylabs/orpheus-3b-0.1-ft转换而来的GGUF格式模型，适用于文本生成任务。

该模型是通过llama.cpp从google/gemma-3-4b-it转换为GGUF格式的，适用于本地部署和推理。

DeepSeek-V3-0324的GGUF量化版本，适用于本地文本生成任务。

这是一个基于mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本，适用于文本生成任务。

这是一个基于Google Gemma 3.4B参数模型转换的GGUF格式模型，适用于文本生成任务。

Gemma 3.4B IT 是由 Google 开发的开源大语言模型，此版本为通过 llama.cpp 转换为 GGUF 格式的 4-bit 量化版本。

该模型是从google/gemma-3-12b-it转换而来的GGUF格式模型，适用于llama.cpp框架。

Gemma 3 1B 模型的 GGUF 量化版本，适用于文本生成任务。

这是一个基于Llama-3.1-8B-RainbowLight-EtherealMix模型的GGUF格式量化版本，便于进行文本生成相关的应用开发。

QwQ-32B的GGUF格式量化版本，适用于本地文本生成任务。

该模型是基于Qwen2-VL-7B-Captioner-Relaxed转换的GGUF格式版本，专为图像转文本任务优化，支持通过llama.cpp和Koboldcpp等工具运行。

Mistral-Small-24B-Instruct-2501的GGUF量化版本，适用于本地部署和文本生成任务。

这是一个基于ozone-ai/llama-3.1-0x-mini转换的GGUF格式模型，适用于llama.cpp框架。

这是一个泰语女性语音文本转语音(TTS)模型，基于VITS架构微调，支持高质量的泰语语音合成。

Indri是一个支持英语和印地语的文本转语音(TTS)模型，参数规模为124M，采用GGUF格式优化CPU推理。

Meta发布的Llama 2系列7B参数聊天模型GGUF量化版本，适用于本地部署和推理

由阿里巴巴NLP团队开发的大语言模型，基于Qwen2架构的7B参数版本，支持指令交互

Llama-3.2-1B-Instruct的GGUF格式版本，提供更广泛的支持和更好的性能。

Qwen2.5-7B-Instruct 的 GGUF 格式量化模型，适用于文本生成任务。

Qwen2.5-1.5B-Instruct 模型的 GGUF 格式文件，适用于文本生成任务。

这是SpeakLeash开发的波兰语大语言模型Bielik-11B-v2.3-Instruct的GGUF量化版本，适用于本地部署和使用。

Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件，适用于文本生成任务。

Prem-1B-SQL是Prem AI开发的10亿参数文本转SQL模型，专为本地化部署设计，支持低配GPU和CPU设备运行。

基于Stable Diffusion 3 Medium的MLX实现，专注于文本到图像生成

Phi-3.5-mini-instruct_Uncensored 是一个经过量化的语言模型，适用于多种硬件条件下的使用。