Sophosympatheia StrawberryLemonade L3 70B V1.0 GGUF

🚀 StrawberryLemonade-L3-70B-v1.0的Llamacpp imatrix量化版本

本項目是對sophosympatheia的StrawberryLemonade-L3-70B-v1.0模型進行量化處理。通過量化，能在不同硬件條件下更高效地運行該模型，滿足多樣化的使用需求。

🚀 快速開始

運行方式

• LM Studio：可以直接在 LM Studio 中運行量化後的模型。
• llama.cpp：也能使用 llama.cpp 或基於 llama.cpp 的其他項目來運行。

下載文件

你可以從下面的表格中選擇要下載的文件（不是整個分支）：

✨ 主要特性

• 量化處理：使用 llama.cpp 的 b5596 版本進行量化。
• 多種量化類型：提供了豐富的量化類型供選擇，以滿足不同的性能和質量需求。
• 在線重新打包：部分量化類型支持在線重新打包，可提高 ARM 和 AVX 機器的性能。

📦 安裝指南

安裝 huggingface-cli

首先，確保你已經安裝了 huggingface-cli：

pip install -U "huggingface_hub[cli]"

下載特定文件

你可以指定要下載的特定文件：

huggingface-cli download bartowski/sophosympatheia_StrawberryLemonade-L3-70B-v1.0-GGUF --include "sophosympatheia_StrawberryLemonade-L3-70B-v1.0-Q4_K_M.gguf" --local-dir ./

下載拆分文件

如果模型大於 50GB，它會被拆分成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/sophosympatheia_StrawberryLemonade-L3-70B-v1.0-GGUF --include "sophosympatheia_StrawberryLemonade-L3-70B-v1.0-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如 sophosympatheia_StrawberryLemonade-L3-70B-v1.0-Q8_0），也可以將它們全部下載到當前目錄（./）。

💻 使用示例

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

📚 詳細文檔

嵌入/輸出權重

部分量化類型（如 Q3_K_XL、Q4_K_L 等）採用標準量化方法，將嵌入和輸出權重量化為 Q8_0，而非默認值。

ARM/AVX 信息

以前，你會下載 Q4_0_4_4/4_8/8_8，這些文件的權重會在內存中交錯排列，以提高 ARM 和 AVX 機器的性能。現在，有了“在線重新打包”功能，詳情見 此 PR。如果你使用 Q4_0 且硬件能從重新打包權重中受益，它會自動即時處理。

從 llama.cpp 版本 b4282 開始，你將無法運行 Q4_0_X_X 文件，而需要使用 Q4_0。此外，如果你想獲得更好的質量，可以使用 IQ4_NL，見 此 PR，它也會為 ARM 重新打包權重，但目前僅支持 4_4。加載時間可能會變慢，但整體速度會提高。

選擇合適的文件

🔧 技術細節

量化方法

使用 llama.cpp 的特定版本（b5596）進行量化，確保了量化過程的穩定性和一致性。

在線重新打包

通過在線重新打包功能，能根據硬件特性優化權重的加載和處理，提高性能。

📄 許可證

本項目使用 llama3 許可證。

致謝

感謝 kalomaze 和 Dampf 在創建 imatrix 校準數據集方面提供的幫助。 感謝 ZeroWw 在嵌入/輸出實驗方面提供的靈感。 感謝 LM Studio 對我工作的贊助。

如果你想支持我的工作，請訪問我的 ko-fi 頁面：https://ko-fi.com/bartowski