D

Delta Vector Austral 24B Winton GGUF

由 bartowski 开发
Delta-Vector的Austral-24B-Winton模型的量化版本,使用llama.cpp工具进行量化处理,适用于不同硬件配置的高效运行。
下载量 421
发布时间 : 6/16/2025

模型简介

该模型是Austral-24B-Winton的量化版本,通过llama.cpp工具进行量化处理,提供多种量化类型以适应不同的硬件配置和使用需求。

模型特点

多量化类型
提供多种量化类型(如bf16、Q8_0、Q6_K_L等),以满足不同的质量和性能需求。
在线重打包
部分量化类型支持在线重打包,可根据硬件自动优化性能。
不同使用场景适配
针对不同的硬件配置和使用需求,提供了详细的选择建议。

模型能力

文本生成
高效推理
多硬件适配

使用案例

高效推理
在低配置硬件上运行
通过选择合适的量化版本,可以在低配置硬件上高效运行模型。
提升推理速度,降低硬件需求。
高质量文本生成
高质量文本生成
使用高质量量化版本(如Q6_K_L)进行文本生成。
生成接近原模型质量的文本。
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase