# 効率的なデプロイ

google/gemma-3-4b-itに基づく量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、推論効率を最適化しています。

これはTHUDM/GLM-4-32B-0414モデルのMLXフォーマット版で、4ビットDWQ量子化処理が施されており、Appleチップデバイス向けの効率的な推論に適しています。

Spec-T1-RL-7Bは、数学的推論、アルゴリズム問題の解決、コード生成に特化した高精度の大規模言語モデルで、技術ベンチマークテストで卓越した性能を発揮します。

Qwen3 30B A3BはGPTQメソッドを用いて8ビット量子化処理を施した大規模言語モデルで、効率的な推論シナリオに適しています。

openai/whisper-large-v3-turboをベースにしたINT4重み量子化バージョンで、効率的な音声をテキストに変換するタスクをサポートします。

Orpheus-3B-0.1-FT の GGUF 量子化バージョン、効率的な推論に適しています

Llama 2はMetaが開発した70億パラメータ規模の大規模言語モデルで、さまざまなハードウェア要件に対応するために複数の量子化バージョンを提供しています。

QwQ-32Bの4ビット量子化バージョンで、Bitsandbytes技術を使用して最適化されており、リソースが制限された環境での効率的な推論に適しています

Qwen2.5-VL-7B-InstructのFP8量子化バージョンで、vLLMを通じて効率的なビジュアル - テキスト推論をサポートします。

DeepSeek-R1-Distill-Llama-70BのFP8量子化バージョン。重みと活性化のビット数を減らすことで推論性能を最適化します。

Molmo-7B-D-0924の4ビット量子化バージョンで、NF4量子化戦略を通じてVRAM使用量を削減し、VRAMが制限された環境に適しています。

pixtral-12b-FP8-dynamicはmistral-community/pixtral-12bの量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスク容量とGPUメモリの要件を約50％削減し、複数の言語の商用および研究用途に適しています。

これはLlama-3-8bモデルを基にINT4量子化を行ったバージョンで、QQQ量子化技術を採用し、グループサイズは128で、ハードウェアに対して最適化されています。

これはMeta Llama 3をベースに構築された4ビット量子化GPTQモデルで、Astronomerによって量子化され、低VRAMデバイスで効率的に動作します。

これはMoritzLaurer/roberta-base-zeroshot-v2.0-cモデルのONNX形式変換バージョンで、ゼロショット分類タスクに適しています。