# 大模型推理

基於騰訊混元A13B大模型轉換的5bit量化版本，適用於蘋果芯片的MLX框架

MedGemma-27B-Text-IT-4bit是基於Google的MedGemma-27B-Text-IT模型轉換而來的MLX格式模型，專為醫療和臨床推理任務優化。

NVIDIA Parakeet TDT 0.6B V2 是一個基於自動語音識別（ASR）任務的模型，適用於英語語音轉文本任務。

rank1-32b是一個基於Qwen2.5-32B訓練的信息檢索重排序模型，通過生成推理鏈進行相關性判斷

EXAONE-3.5-32B-Instruct是一個32B參數的大型語言模型，支持指令跟隨和對話任務。

Llama 3.3 70B Instruct AWQ INT4 是 Meta Llama 3.3 70B Instruct 模型的 4 位量化版本，適用於多語言對話用例，優化了文本生成任務。

CogVideoX 是一個開源視頻生成模型，支持從圖像生成視頻，類似於清影平臺。

這是一個基於Meta-Llama-3.1-70B-Instruct持續預訓練的日語大語言模型，支持日語和英語。

Llama 3 是 Meta 公司推出的下一代開源大語言模型，具有更強的性能和更廣泛的應用場景。

ARIA 70B V2 是一個基於 Llama 2 架構的大規模語言模型，支持法語和英語，專注於文本生成任務。