# 4bit量子化推論

Kimi K2 Instruct 4bit
Other
Kimi-K2-Instruct-4bitは、moonshotai/Kimi-K2-Instructから変換された4bit量子化モデルで、MLXフレームワークに適しています。
大規模言語モデル
K
mlx-community
1,131
4
SWE Agent LM 32B 4bit
Apache-2.0
これはSWE-bench/SWE-agent-LM-32Bモデルから変換された4ビット量子化バージョンで、ソフトウェアエンジニアリングタスクに最適化された言語モデルです。
大規模言語モデル Transformers English
S
mlx-community
31
1
Llama 3.2 11B Vision Invoices Mini
Apache-2.0
unsloth/llama-3.2-11b-vision-instruct-unsloth-bnb-4bitをファインチューニングしたマルチモーダル大規模言語モデルで、視覚命令理解タスクをサポートし、Unslothによる最適化でトレーニング速度が2倍向上しています。
テキスト生成画像 Transformers English
L
atulSethi
46
1
Midnight Miqu 70B V1.5 4bit
Midnight-Miqu-70B-v1.5 は70Bパラメータ規模の大規模言語モデルで、テキスト生成などのタスクをサポートします。
大規模言語モデル Transformers
M
cecibas
361.62k
3
C4ai Command R V01 4bit
このモデルはCohereForAI/c4ai-command-r-v01からMLXフォーマットに変換された4bit量子化バージョンで、多言語対話とツール使用をサポートします。
大規模言語モデル Transformers Supports Multiple Languages
C
mlx-community
381
23
Laser Dolphin Mixtral 4x7b Dpo
Apache-2.0
特定のモデルをベースに改良された中規模のMoE実装モデルで、テキスト生成タスクに適しており、複数のベンチマークテストで良好な性能を示します。
大規模言語モデル Transformers
L
macadeliccc
846
10
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase