# 4bit量子化推論

これはSWE-bench/SWE-agent-LM-32Bモデルから変換された4ビット量子化バージョンで、ソフトウェアエンジニアリングタスクに最適化された言語モデルです。

unsloth/llama-3.2-11b-vision-instruct-unsloth-bnb-4bitをファインチューニングしたマルチモーダル大規模言語モデルで、視覚命令理解タスクをサポートし、Unslothによる最適化でトレーニング速度が2倍向上しています。

Midnight-Miqu-70B-v1.5 は70Bパラメータ規模の大規模言語モデルで、テキスト生成などのタスクをサポートします。

このモデルはCohereForAI/c4ai-command-r-v01からMLXフォーマットに変換された4bit量子化バージョンで、多言語対話とツール使用をサポートします。