E

Elastic Llama 3.1 8B Instruct

由TheStageAI開發
Meta-Llama-3.1-8B-Instruct 的彈性優化版本,提供不同速度與精度的模型變體,適合自部署場景。
下載量 125
發布時間 : 4/13/2025

模型概述

該模型是Meta-Llama-3.1-8B-Instruct的量化版本,通過ANNA(自動化神經網絡加速器)生成,提供XL、L、M、S四種優化版本,用戶可根據需求在速度和質量之間靈活選擇。

模型特點

彈性調節
通過簡單滑動控制條即可調節模型大小、延遲和質量,提供XL、L、M、S四種優化版本。
高性能優化
通過DNN編譯器優化,提供數學等效的神經網絡,在保持高質量的同時提升推理速度。
多硬件支持
支持多種硬件平臺,包括H100/L40s GPU和AMD/Intel CPU,預編譯無需即時編譯(JIT)。
兼容性
兼容HF庫(transformers/diffusers),一行代碼即可調用,支持多語言文本生成。

模型能力

多語言文本生成
高質量推理
低延遲響應
彈性模型調節

使用案例

搜索引擎
問答系統
作為搜索引擎回答用戶查詢,提供高質量的多語言回答。
在MMLU等基準測試中表現優異,綜合知識能力評分達65.8(S版本)。
教育
知識解釋
解釋複雜概念,如DNN量化的基本原理。
在PIQA測試中物理常識推理能力評分達77.6(S版本)。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase