T

Thedrummer Anubis 70B V1.1 GGUF

由 bartowski 开发
这是一个70B参数的大语言模型量化版本,提供多种量化级别以适应不同硬件需求
下载量 246
发布时间 : 6/26/2025

模型简介

该项目是对TheDrummer的Anubis-70B-v1.1模型进行的量化版本,使用llama.cpp进行量化,旨在提供不同量化级别的模型文件以满足不同硬件条件和使用场景的需求。

模型特点

多种量化类型
提供丰富的量化类型,如Q8_0、Q6_K、Q5_K_M等,以适应不同的硬件资源和性能需求
在线重打包
部分量化类型支持在线重打包,可自动优化ARM和AVX机器的性能
特定权重处理
部分量化模型将嵌入和输出权重量化为Q8_0,以提高质量

模型能力

文本生成
对话系统
知识问答

使用案例

通用AI应用
智能对话
可用于构建智能对话系统
知识问答
可用于构建知识问答系统
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase