# 大模型推理優化

基於Meta Llama基礎模型構建的圖像文本到文本轉換模型，支持通過gguf-connector和llama-cpp-python進行交互。

基於Llama-3.1-70B的超低位量化(1-2位)模型，採用IQ-DynamicGate技術實現精度自適應量化，在保持內存效率的同時提升準確性。

Qwerky-QwQ-32B 是一個32B參數規模的大型語言模型，專注於文本生成任務。

Sky-T1-32B-Preview是一個32B參數的大語言模型，經過llama.cpp的imatrix量化處理，適用於文本生成任務。

Llama 3.1 70B Instruct的INT4量化版本，基於AutoAWQ技術優化，適用於多語言對話場景。

Mixtral-8x22B是一個預訓練的生成式稀疏混合專家模型，支持多種語言。

Mixtral-8x22B-v0.1的量化版本，使用llama.cpp進行量化，支持多種語言和量化類型。