# 4bit量子化推論
Kimi K2 Instruct 4bit
Other
Kimi-K2-Instruct-4bitは、moonshotai/Kimi-K2-Instructから変換された4bit量子化モデルで、MLXフレームワークに適しています。
大規模言語モデル
K
mlx-community
1,131
4
SWE Agent LM 32B 4bit
Apache-2.0
これはSWE-bench/SWE-agent-LM-32Bモデルから変換された4ビット量子化バージョンで、ソフトウェアエンジニアリングタスクに最適化された言語モデルです。
大規模言語モデル
Transformers English

S
mlx-community
31
1
Llama 3.2 11B Vision Invoices Mini
Apache-2.0
unsloth/llama-3.2-11b-vision-instruct-unsloth-bnb-4bitをファインチューニングしたマルチモーダル大規模言語モデルで、視覚命令理解タスクをサポートし、Unslothによる最適化でトレーニング速度が2倍向上しています。
テキスト生成画像
Transformers English

L
atulSethi
46
1
Midnight Miqu 70B V1.5 4bit
Midnight-Miqu-70B-v1.5 は70Bパラメータ規模の大規模言語モデルで、テキスト生成などのタスクをサポートします。
大規模言語モデル
Transformers

M
cecibas
361.62k
3
C4ai Command R V01 4bit
このモデルはCohereForAI/c4ai-command-r-v01からMLXフォーマットに変換された4bit量子化バージョンで、多言語対話とツール使用をサポートします。
大規模言語モデル
Transformers Supports Multiple Languages

C
mlx-community
381
23
Laser Dolphin Mixtral 4x7b Dpo
Apache-2.0
特定のモデルをベースに改良された中規模のMoE実装モデルで、テキスト生成タスクに適しており、複数のベンチマークテストで良好な性能を示します。
大規模言語モデル
Transformers

L
macadeliccc
846
10
Featured Recommended AI Models
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers Supports Multiple Languages

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers English

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム Chinese
R
uer
2,694
98