Llama Xlam 2 8b Fc R GGUF

🚀 Salesforce/Llama-xLAM-2-8b-fc-r的實驗性逐層量化

本項目聚焦於Salesforce/Llama-xLAM-2-8b-fc-r模型的實驗性逐層量化，旨在優化大語言模型（LLM）在資源受限環境中的推理性能。通過特定的量化方法，在保證模型性能的同時，有效減小模型體積，提升運行效率。

✨ 主要特性

• 實驗性量化：採用逐層量化方法，對Salesforce/Llama-xLAM-2-8b-fc-r模型進行實驗性量化，以提高其在資源受限環境中的推理性能。
• 多指標評估：使用多種指標（如困惑度、KL散度、ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分數等）對量化後的模型進行全面評估。
• 數據驅動：基於校準數據集生成重要性矩陣（imatrix），指導張量選擇和量化過程。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

文檔未提供代碼示例，故跳過該章節。

📚 詳細文檔

基礎信息

量化過程

使用 LLaMA C++ 發佈版 b5180 進行量化。具體步驟如下：

1. 將原始模型的張量轉換為 GGUF F16。
2. 使用 wikitext-2-raw-v1 數據集估計F16模型的困惑度分數（基線），並保存 logits。
3. 從選定的校準數據集生成 imatrix。
4. 使用修改後的 llama-imatrix 確定張量和層的重要性得分貢獻。
5. 為每個張量選擇合適的量化級別，並使用 llama-quantize 對模型進行量化。
6. 計算每個量化模型的困惑度、KL散度、ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分數。
7. 保留得分最佳的版本。
8. 重複上述步驟，直到創建所有所需的量化模型。

模型信息

模型大小

困惑度和KL散度分數

ARC、HellaSwag、MMLU、Truthful QA和WinoGrande分數

每秒令牌數 - 基準測試

指標說明

• 困惑度（Perplexity）：自然語言處理評估中的關鍵指標之一，用於衡量語言模型預測下一個令牌的能力。值越接近1表示模型預測越準確。
• KL散度（Kullback–Leibler Divergence）：衡量兩個概率分佈之間差異的統計指標。在量化模型時，該值越接近0表示量化後的模型權重概率分佈與原始模型越接近。
• AI2推理挑戰（ARC）：評估AI模型回答複雜科學問題的能力，要求模型具備超越模式匹配的邏輯推理能力。
• HellaSwag：用於測試常識自然語言推理的基準，要求模型預測句子最可能的結尾。
• MMLU：評估大語言模型在57個主題上的通用知識和問題解決能力，包括初等數學、美國曆史、計算機科學和法律等。
• Truthful QA：評估大語言模型生成真實回答的能力，確保模型避免生成虛假或誤導性信息。
• Winogrande：基於Winograd Schema Challenge的自然語言理解任務，要求模型解決涉及代詞引用的句子歧義問題。

🔧 技術細節

本項目使用 LLaMA C++ 發佈版 b5180 進行量化。具體方法是通過自定義版本的 llama-imatrix 和 llama-quantize 來識別有影響力的張量，並對最重要的層進行更高比特精度的量化，對不太重要的層進行較低比特的量化。這一過程部分受到Dumitru等人的 Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels 論文的啟發。

修改後的 llama-imatrix 生成有用的統計信息，以指導張量選擇過程。這些統計信息包括偏差總和、最小和最大激活值、均值和標準差、活躍元素比例、激活數量、熵、歸一化熵、ZD分數和餘弦相似度等。

所有實驗版本均使用從校準數據集 eaddario/imatrix-calibration 創建的適當重要性矩陣（imatrix）生成。重要性矩陣本質上是一個表格或結構化表示，用於量化機器學習模型中不同特徵或參數的相對重要性，有助於平衡量化和剪枝的負面影響。

📄 許可證

本項目採用 cc-by-nc-4.0 許可證。

致謝

特別感謝 Colin Kealty 的諸多貢獻，他是Huggingface上高質量量化模型的優質來源之一。同時，非常感謝 Georgi Gerganov 在 llama.cpp 和 ggml/gguf 庫方面的傑出工作。