# CPU高效推理

基於Qwen3-8B的量化版本，採用IQ-DynamicGate超低位量化技術，優化內存效率和推理速度

GLM-Z1-9B-0414 是一個支持中英雙語的文本生成模型，採用 GGUF 格式，適用於多種量化級別，從 BF16 到超低位量化（1-2 比特）。

OlympicCoder-7B是基於Qwen2.5-Coder-7B-Instruct優化的代碼生成模型，採用IQ-DynamicGate超低比特量化技術，專為內存受限環境設計。

GLM-4-32B-0414 GGUF模型是一系列強大的文本生成模型，具有多種量化格式，適用於不同硬件和內存條件。

採用IQ-DynamicGate技術的超低位量化(1-2比特)模型，適用於內存受限設備和邊緣計算場景

基於Llama-3-8B架構優化的超低比特量化模型，採用IQ-DynamicGate技術實現1-2比特精度自適應量化，適用於內存受限環境。

基於Llama-3架構的8B參數模型，採用IQ-DynamicGate超低比特量化技術優化內存使用

這是一個基於 Mistral-Small-3.1-24B-Base-2503 的指令微調模型，採用 GGUF 格式和 IQ-DynamicGate 超低比特量化技術。

Llama-3.1-8B-Instruct 是基於 Llama-3-8B 的指令調優版本，採用 IQ-DynamicGate 技術進行超低位量化（1-2 比特），在保持內存效率的同時提升準確性。

Mistral-7B-Instruct-v0.2是基於Mistral-7B架構的指令微調模型，支持文本生成任務，採用IQ-DynamicGate超低比特量化技術優化內存效率。

這是一個基於bert-tiny和vit-tiny的輕量級圖像字幕生成模型，僅重40MB，在CPU上運行速度極快。

一個基於bert-tiny和vit-small的輕量級圖像描述生成模型，僅重100MB，在CPU上運行速度極快。

一個基於bert-mini和vit-small的輕量級圖像字幕生成模型，僅重130MB，在CPU上運行速度極快。

基於fasttext構建的文本分類模型，用於判斷文本是否達到教科書級數據質量，可作為大語言模型訓練時的數據篩選工具。

該項目提供了以GGUF格式存儲的BGE嵌入模型，適用於與llama.cpp配合使用，提供比transformers更好的性能表現。

基於Llama 2 7B微調的ReLU激活稀疏大語言模型，通過動態參數選擇提升計算效率