Inclusionai Ling Lite 0415 GGUF

🚀 inclusionAI的Ling - lite - 0415的Llamacpp imatrix量化版本

本項目提供了inclusionAI的Ling - lite - 0415模型的量化版本，藉助量化技術可在不同硬件條件下更高效地運行模型，滿足多樣化的使用需求。

🚀 快速開始

你可以在 LM Studio 中運行這些量化模型，也能直接使用 llama.cpp 或其他基於 llama.cpp 的項目來運行。

✨ 主要特性

• 多種量化類型：提供了豐富的量化類型供選擇，如 bf16、Q8_0、Q6_K_L 等，可根據不同的硬件資源和性能需求進行挑選。
• 在線重打包：部分量化類型支持在線重打包功能，能自動優化權重以提升在 ARM 和 AVX 機器上的性能。
• 靈活下載：支持使用 huggingface - cli 靈活下載單個文件或整個模型分支。

📦 安裝指南

安裝 huggingface - cli

首先，確保你已安裝 huggingface - cli：

pip install -U "huggingface_hub[cli]"

下載指定文件

你可以指定要下載的特定文件：

huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q4_K_M.gguf" --local-dir ./

下載拆分文件

如果模型大於 50GB，它會被拆分為多個文件。若要將它們全部下載到本地文件夾，可運行：

huggingface-cli download bartowski/inclusionAI_Ling-lite-0415-GGUF --include "inclusionAI_Ling-lite-0415-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如 inclusionAI_Ling - lite - 0415 - Q8_0），也可以將它們全部下載到當前目錄（./）。

💻 使用示例

基礎用法

提示格式

<role>SYSTEM</role>{system_prompt}<role>HUMAN</role>{prompt}<role>ASSISTANT</role><role>ASSISTANT</role>

📚 詳細文檔

下載文件列表

嵌入/輸出權重

部分量化（如 Q3_K_XL、Q4_K_L 等）是標準量化方法，其嵌入和輸出權重被量化為 Q8_0，而非通常的默認值。

ARM/AVX 信息

以前，你會下載 Q4_0_4_4/4_8/8_8，這些模型的權重會在內存中交錯排列，以便通過一次加載更多數據來提高 ARM 和 AVX 機器的性能。

然而，現在有了一種稱為“在線重打包”的權重處理方式，詳情見 此 PR。如果你使用 Q4_0 且硬件能從權重重打包中受益，它將自動即時進行重打包。

從 llama.cpp 構建 b4282 開始，你將無法運行 Q4_0_X_X 文件，而需要使用 Q4_0。

此外，如果你想獲得稍好的質量，可以使用 IQ4_NL，感謝 此 PR，它也會為 ARM 重打包權重，不過目前僅支持 4_4。加載時間可能會變慢，但總體速度會提高。

選擇合適的文件

🔧 技術細節

量化方法

使用 llama.cpp 版本 b5147 進行量化。所有量化均使用 imatrix 選項，並使用來自 此處 的數據集。

在線重打包

對於 Q4_0 量化類型，若硬件支持，會自動進行在線重打包以優化性能，詳情見 此 PR。

📄 許可證

本項目採用 MIT 許可證。

致謝

感謝 kalomaze 和 Dampf 在創建 imatrix 校準數據集方面提供的幫助。

感謝 ZeroWw 啟發了對嵌入/輸出的實驗。

感謝 LM Studio 對我工作的贊助。

如果你想支持我的工作，請訪問我的 ko - fi 頁面：https://ko-fi.com/bartowski