M

Meta Llama 3 70B Instruct GGUF

由MaziyarPanahi開發
基於Meta官方Llama 3 70B指令微調模型的GGUF量化版本,支持2-16bit多種量化級別,適用於本地部署的對話場景
下載量 18.89k
發布時間 : 4/18/2024

模型概述

Llama 3 70B參數的指令微調版本,經過監督微調和RLHF對齊,專為對話任務優化

模型特點

多級量化支持
提供2bit到16bit共9種量化級別,適配不同硬件資源需求
對話優化
通過監督微調(SFT)和人類反饋強化學習(RLHF)實現人類偏好對齊
長上下文處理
支持8k tokens的上下文窗口,適合長文檔理解任務
GQA加速
採用分組查詢注意力機制提升推理效率

模型能力

文本生成
代碼生成
多輪對話
知識問答
指令跟隨

使用案例

商業應用
智能客服
部署於企業客服系統的自動應答解決方案
在行業基準測試中超越多數開源聊天模型
研究開發
AI助手原型
作為基礎模型開發定製化AI助手
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase