M

Meta Llama 3.1 70B Instruct FP8

由RedHatAI開發
Meta-Llama-3.1-70B-Instruct的FP8量化版本,適用於多語言的商業和研究用途,特別適合類似助手的聊天場景。
下載量 71.73k
發布時間 : 7/23/2024

模型概述

該模型是Meta-Llama-3.1-70B-Instruct的FP8量化版本,通過將權重和激活量化為FP8數據類型,顯著減少了磁盤大小和GPU內存需求。適用於多語言文本生成任務。

模型特點

FP8量化
權重和激活均量化為FP8數據類型,減少了約50%的磁盤大小和GPU內存需求。
多語言支持
支持包括英語、德語、法語等多種語言的文本生成任務。
高性能
在OpenLLM基準測試中平均得分為84.29,接近未量化模型的性能。

模型能力

多語言文本生成
聊天助手功能
商業和研究用途

使用案例

聊天助手
多語言聊天機器人
可用於構建支持多種語言的聊天機器人,提供類似助手的交互體驗。
商業應用
客戶支持
可用於自動化客戶支持系統,處理多語言的客戶查詢。
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase