# GPTQ量子化

これはQwen/Qwen3-Reranker-4BをGPTQ量子化した成果で、VRAM使用量を大幅に削減しました。

これはGPTQ量子化を施したQwen3-Embedding-4Bモデルで、VRAM使用量が大幅に削減され、性能損失が少ない。

Qwen3-Embedding-8BのGPTQ量子化バージョンで、VRAM要件を大幅に削減しながら高性能を維持します。

Qwen3-Embedding-0.6BのGPTQ量子化バージョン。VRAM使用量が最適化され、性能損失が少ない。

Qwen3-0.6Bは通義千問シリーズ最新世代の0.6Bパラメータ規模の大規模言語モデルで、思考モードと非思考モードの切り替えをサポートし、優れた推論能力、指示追従能力、エージェント能力を備えています。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、17億パラメータのGPTQ 8ビット量子化モデルを提供し、思考モードと非思考モードの切り替えをサポートし、推論能力と多言語サポートを強化しています。

Orpheus-3B-0.1-FT は因果言語モデルに基づくテキスト音声変換モデルで、効率的な量子化圧縮をサポートしています。

これはQwen2.5-VL-3B-InstructモデルのGPTQ-Int4量子化バージョンで、画像テキストからテキストへのマルチモーダルタスクに適しており、中国語と英語をサポートしています。

これはMeta-Llama-3.1-8B-InstructモデルのINT4量子化バージョンで、GPTQアルゴリズムを使用して量子化されており、多言語対話シナリオに適しています。

QWENベースの中医インテリジェント診察モデル、五行理論を融合し、個別化中医診断サービスを提供

MetaのLlama 2 13BモデルのGPTQ量子化バージョンで、効率的な推論に適しています。