# 量化模型

這是Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small模型的靜態量化版本，專注於Verilog代碼生成和推理任務。

基於LLaMA架構微調的多語言對話模型，支持阿拉伯語和英語，針對對話任務優化並提供高質量回復。

本項目提供了對 richinfoai/ritrieve_zh_v1 模型的靜態量化版本，通過量化處理減少存儲空間和計算資源需求，同時保持一定性能。

基於Gemma 3 4B的量化版本圖像文本轉文本模型，旨在讓知識為大眾所用

基於webbigdata/gemma-2-2b-jpn-it-translate的靜態量化模型，支持日語和英語之間的翻譯任務。

Qwen2.5-14B-Instruct 是一個基於 Qwen2.5-14B 的指令微調模型，支持文本生成任務，適用於聊天和問答場景。

DeepSeek-R1-Medical-COT 是一個專注於醫學領域的思維鏈推理模型，提供多種量化版本以適應不同硬件需求。

這是一個基於Qwen架構的7B參數模型，專門用於梵語翻譯任務，提供了多種量化版本。

這是一個基於Llama-3.1架構的8B參數模型，專門用於生成Hacker News評論的摘要。

Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多種比特量化選項，適用於文本生成任務。

Phi-3.5-mini-instruct的GGUF格式模型文件，適用於文本生成任務。

基於Llama3 8B模型的俄語優化版本，支持文本生成任務

WhisperKit 是一款面向 Apple Silicon 的本地語音識別框架，支持高效的自動語音識別任務。

這是defog/sqlcoder-7b-2模型的GGUF格式量化版本，主要用於SQL代碼生成任務。

基於Mistral架構的7B參數俄語大語言模型，支持文本生成任務