# 大規模モデル推論最適化

Meta Llamaの基礎モデルに基づいて構築された画像テキストからテキストへの変換モデルで、gguf-connectorとllama-cpp-pythonを通じたインタラクションをサポートします。

Llama-3.1-70Bを基にした超低位量子化(1-2ビット)モデルで、IQ-DynamicGate技術を用いて精度適応型量子化を実現し、メモリ効率を維持しながら精度を向上させています。

Qwerky-QwQ-32B は32Bパラメータ規模の大規模言語モデルで、テキスト生成タスクに特化しています。

Sky-T1-32B-Previewは32Bパラメータの大規模言語モデルで、llama.cppのimatrix量子化処理を経ており、テキスト生成タスクに適しています。

Llama 3.1 70B InstructのINT4量子化バージョン、AutoAWQ技術に基づいて最適化され、多言語対話シナリオに適しています。

Mixtral-8x22Bは多言語対応の事前学習済み生成型スパース混合エキスパートモデルです。

Mixtral-8x22B-v0.1の量子化バージョンで、llama.cppを使用して量子化されており、複数の言語と量子化タイプをサポートしています。