Q

Qwen3 30B A3B FP8 Dynamic

由khajaphysist開發
基於Qwen/Qwen3-30B-A3B模型的FP8動態量化版本,優化了在安培架構顯卡上的推理效率
下載量 403
發布時間 : 4/29/2025

模型概述

這是一個支持FP8動態量化的大語言模型,特別針對NVIDIA安培架構顯卡(如3090)進行了優化,能夠在保持較高推理質量的同時提升計算效率

模型特點

FP8動態量化
支持FP8精度動態量化,在安培架構顯卡上實現高效推理
多GPU並行
支持通過Tensor Parallelism在多GPU上分佈式運行
高效推理
優化了內存利用率,支持高併發請求處理

模型能力

文本生成
對話系統
內容創作
代碼生成
知識問答

使用案例

智能助手
聊天機器人
構建流暢對話的智能聊天助手
能夠進行多輪自然對話
內容創作
文章生成
根據提示生成連貫的文章或段落
可生成符合主題的文本內容
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase