Llama Xlam 2 8b Fc R GGUF

🚀 Salesforce/Llama-xLAM-2-8b-fc-r的实验性逐层量化

本项目聚焦于Salesforce/Llama-xLAM-2-8b-fc-r模型的实验性逐层量化，旨在优化大语言模型（LLM）在资源受限环境中的推理性能。通过特定的量化方法，在保证模型性能的同时，有效减小模型体积，提升运行效率。

✨ 主要特性

• 实验性量化：采用逐层量化方法，对Salesforce/Llama-xLAM-2-8b-fc-r模型进行实验性量化，以提高其在资源受限环境中的推理性能。
• 多指标评估：使用多种指标（如困惑度、KL散度、ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分数等）对量化后的模型进行全面评估。
• 数据驱动：基于校准数据集生成重要性矩阵（imatrix），指导张量选择和量化过程。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

文档未提供代码示例，故跳过该章节。

📚 详细文档

基础信息

量化过程

使用 LLaMA C++ 发布版 b5180 进行量化。具体步骤如下：

1. 将原始模型的张量转换为 GGUF F16。
2. 使用 wikitext-2-raw-v1 数据集估计F16模型的困惑度分数（基线），并保存 logits。
3. 从选定的校准数据集生成 imatrix。
4. 使用修改后的 llama-imatrix 确定张量和层的重要性得分贡献。
5. 为每个张量选择合适的量化级别，并使用 llama-quantize 对模型进行量化。
6. 计算每个量化模型的困惑度、KL散度、ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分数。
7. 保留得分最佳的版本。
8. 重复上述步骤，直到创建所有所需的量化模型。

模型信息

模型大小

困惑度和KL散度分数

ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分数

每秒令牌数 - 基准测试

指标说明

• 困惑度（Perplexity）：自然语言处理评估中的关键指标之一，用于衡量语言模型预测下一个令牌的能力。值越接近1表示模型预测越准确。
• KL散度（Kullback–Leibler Divergence）：衡量两个概率分布之间差异的统计指标。在量化模型时，该值越接近0表示量化后的模型权重概率分布与原始模型越接近。
• AI2推理挑战（ARC）：评估AI模型回答复杂科学问题的能力，要求模型具备超越模式匹配的逻辑推理能力。
• HellaSwag：用于测试常识自然语言推理的基准，要求模型预测句子最可能的结尾。
• MMLU：评估大语言模型在57个主题上的通用知识和问题解决能力，包括初等数学、美国历史、计算机科学和法律等。
• Truthful QA：评估大语言模型生成真实回答的能力，确保模型避免生成虚假或误导性信息。
• Winogrande：基于Winograd Schema Challenge的自然语言理解任务，要求模型解决涉及代词引用的句子歧义问题。

🔧 技术细节

本项目使用 LLaMA C++ 发布版 b5180 进行量化。具体方法是通过自定义版本的 llama-imatrix 和 llama-quantize 来识别有影响力的张量，并对最重要的层进行更高比特精度的量化，对不太重要的层进行较低比特的量化。这一过程部分受到Dumitru等人的 Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels 论文的启发。

修改后的 llama-imatrix 生成有用的统计信息，以指导张量选择过程。这些统计信息包括偏差总和、最小和最大激活值、均值和标准差、活跃元素比例、激活数量、熵、归一化熵、ZD分数和余弦相似度等。

所有实验版本均使用从校准数据集 eaddario/imatrix-calibration 创建的适当重要性矩阵（imatrix）生成。重要性矩阵本质上是一个表格或结构化表示，用于量化机器学习模型中不同特征或参数的相对重要性，有助于平衡量化和剪枝的负面影响。

📄 许可证

本项目采用 cc-by-nc-4.0 许可证。

致谢

特别感谢 Colin Kealty 的诸多贡献，他是Huggingface上高质量量化模型的优质来源之一。同时，非常感谢 Georgi Gerganov 在 llama.cpp 和 ggml/gguf 库方面的杰出工作。