Llama-3.1-8B-SuperNova-EtherealHermes-GGUF开源大模型 - 多种量化格式助力对话交流

Home

Llama 3.1 8B SuperNova EtherealHermes GGUF

Developed by tensorblock

基于Llama-3.1架构的8B参数大语言模型，提供多种量化版本的GGUF格式文件

大型语言模型 EnglishOpen Source License:Apache-2.0 #多任务文本生成 #指令微调优化 #低资源高效

Downloads 44

Release Time : 3/21/2025

Model Overview

这是一个8B参数规模的大语言模型，采用GGUF格式提供多种量化版本，适用于文本生成任务。模型由TensorBlock团队提供量化支持。

Model Features

多种量化版本

提供从Q2_K到Q8_0共11种不同量化级别的GGUF格式文件，满足不同硬件和性能需求

高性能文本生成

在多个基准测试中表现良好，特别是在IFEval数据集上达到73.39的严格准确率

兼容性强

兼容截至提交b4882的llama.cpp版本，便于在各种环境中部署

Model Capabilities

文本生成

指令跟随

问答系统

内容创作

Use Cases

教育

教学辅助

可用于生成教学材料和解答学生问题

内容创作

文章写作

帮助创作者生成文章草稿和创意内容

研究

学术研究辅助

可用于文献综述和初步研究思路生成

🚀 ZeroXClem/Llama-3.1-8B-SuperNova-EtherealHermes - GGUF

本仓库包含 ZeroXClem/Llama-3.1-8B-SuperNova-EtherealHermes 的 GGUF 格式模型文件。这些文件由 TensorBlock 提供的机器进行量化，并且与截至提交 b4882 的 llama.cpp 兼容。

反馈与支持：可通过 TensorBlock 的 Twitter/X、Telegram 群组和 Discord 服务器获取。

🚀 快速开始

项目相关信息

属性	详情
模型类型	文本生成
基础模型	ZeroXClem/Llama-3.1-8B-SuperNova-EtherealHermes
库名称	transformers
标签	merge、mergekit、lazymergekit、TensorBlock、GGUF
许可证	Apache-2.0

模型评估结果

模型在多个数据集上进行了评估，以下是具体结果：

任务	数据集	指标	值	来源
文本生成	IFEval (0-Shot)	严格准确率	73.39	Open LLM Leaderboard
文本生成	BBH (3-Shot)	归一化准确率	32.07	Open LLM Leaderboard
文本生成	MATH Lvl 5 (4-Shot)	精确匹配率	17.45	Open LLM Leaderboard
文本生成	GPQA (0-shot)	归一化准确率	5.7	Open LLM Leaderboard
文本生成	MuSR (0-shot)	归一化准确率	11.32	Open LLM Leaderboard
文本生成	MMLU-PRO (5-shot)	准确率	30.5	Open LLM Leaderboard

我们的其他项目

项目名称	项目介绍	项目图片	项目链接
Awesome MCP Servers	一个全面的模型上下文协议（MCP）服务器集合。		👉 查看项目 👈
TensorBlock Studio	一个轻量级、开放且可扩展的多大型语言模型（LLM）交互工作室。		👉 查看项目 👈

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件规格

文件名	量化类型	文件大小	描述
Llama-3.1-8B-SuperNova-EtherealHermes-Q2_K.gguf	Q2_K	3.179 GB	最小，但质量损失显著，不建议用于大多数场景
Llama-3.1-8B-SuperNova-EtherealHermes-Q3_K_S.gguf	Q3_K_S	3.665 GB	非常小，但质量损失高
Llama-3.1-8B-SuperNova-EtherealHermes-Q3_K_M.gguf	Q3_K_M	4.019 GB	非常小，但质量损失高
Llama-3.1-8B-SuperNova-EtherealHermes-Q3_K_L.gguf	Q3_K_L	4.322 GB	小，有较大质量损失
Llama-3.1-8B-SuperNova-EtherealHermes-Q4_0.gguf	Q4_0	4.661 GB	旧版本；小，质量损失非常高，建议使用 Q3_K_M
Llama-3.1-8B-SuperNova-EtherealHermes-Q4_K_S.gguf	Q4_K_S	4.693 GB	小，质量损失较大
Llama-3.1-8B-SuperNova-EtherealHermes-Q4_K_M.gguf	Q4_K_M	4.921 GB	中等，质量平衡，推荐使用
Llama-3.1-8B-SuperNova-EtherealHermes-Q5_0.gguf	Q5_0	5.599 GB	旧版本；中等，质量平衡，建议使用 Q4_K_M
Llama-3.1-8B-SuperNova-EtherealHermes-Q5_K_S.gguf	Q5_K_S	5.599 GB	大，质量损失低，推荐使用
Llama-3.1-8B-SuperNova-EtherealHermes-Q5_K_M.gguf	Q5_K_M	5.733 GB	大，质量损失非常低，推荐使用
Llama-3.1-8B-SuperNova-EtherealHermes-Q6_K.gguf	Q6_K	6.596 GB	非常大，质量损失极低
Llama-3.1-8B-SuperNova-EtherealHermes-Q8_0.gguf	Q8_0	8.541 GB	非常大，质量损失极低，但不建议使用

下载说明

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/Llama-3.1-8B-SuperNova-EtherealHermes-GGUF --include "Llama-3.1-8B-SuperNova-EtherealHermes-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试：

huggingface-cli download tensorblock/Llama-3.1-8B-SuperNova-EtherealHermes-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'