Pllum 8x7B Chat GGUF

🚀 PLLuM-8x7B-chat GGUF（非官方）

本仓库包含以GGUF格式存储的PLLuM-8x7B-chat模型的量化版本，该版本针对使用llama.cpp及相关工具进行本地推理进行了优化。量化能够在显著减小模型大小的同时，保持生成文本的良好质量，使其能够在标准硬件上运行。

这是唯一一个同时包含参考（F16） 和**（BF16）** 版本以及**（IQ3_S）** 量化版本的PLLuM-8x7B-chat模型的仓库。

GGUF版本允许你在LM Studio或Ollama等工具中运行模型。

✨ 主要特性

• 提供多种量化版本的PLLuM-8x7B-chat模型，满足不同硬件和应用场景的需求。
• 支持在多种工具（如LM Studio、Ollama等）中运行。
• 提供详细的下载和使用说明。

📦 安装指南

使用huggingface-cli下载模型

pip install -U "huggingface_hub[cli]"

huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-q4_k_m.gguf" --local-dir ./

# 下载q3_k_m版本（22.5 GB）
huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-q3_k_m.gguf" --local-dir ./

# 下载iq3_s版本（20.4 GB）
huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-iq3_s.gguf" --local-dir ./

# 下载q5_k_m版本（33.2 GB）
huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-q5_k_m.gguf" --local-dir ./

# 下载F16版本（约85 GB）
huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-F16/*" --local-dir ./F16/

# 下载bf16版本（约85 GB）
huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-bf16/*" --local-dir ./bf16/

# 安装hf_transfer
pip install hf_transfer

# 启用hf_transfer进行下载（速度更快）
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download piotrmaciejbednarski/PLLuM-8x7B-chat-GGUF --include "PLLuM-8x7B-chat-gguf-q4_k_m.gguf" --local-dir ./

# 在Linux/Mac系统上
cat PLLuM-8x7B-chat-gguf-F16.part-* > PLLuM-8x7B-chat-gguf-F16.gguf

# 在Windows系统上
copy /b PLLuM-8x7B-chat-gguf-F16.part-* PLLuM-8x7B-chat-gguf-F16.gguf

💻 使用示例

使用llama.cpp

在这些示例中，我们将使用非官方仓库中的PLLuM模型。你可以从上面的可用模型表中下载你喜欢的量化版本。

下载完成后，将模型放在models目录中。

基于Unix的系统（Linux、macOS等）：

输入提示（一次性）

./llama-cli -m models/PLLuM-8x7B-chat-gguf-q4_k_m.gguf --prompt "Pytanie: Jakie są największe miasta w Polsce? Odpowiedź:"

Windows：

输入提示（一次性）

./llama-cli.exe -m models\PLLuM-8x7B-chat-gguf-q4_k_m.gguf --prompt "Pytanie: Jakie są największe miasta w Polsce? Odpowiedź:"

如需详细和最新的信息，请参考官方llama.cpp文档。

使用text-generation-webui

# 安装text-generation-webui
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
pip install -r requirements.txt

# 使用选定的模型运行服务器
python server.py --model path/to/PLLuM-8x7B-chat-gguf-q4_k_m.gguf

使用Python和llama-cpp-python

from llama_cpp import Llama

# 加载模型
llm = Llama(
    model_path="path/to/PLLuM-8x7B-chat-gguf-q4_k_m.gguf",
    n_ctx=4096,     # 上下文大小
    n_threads=8,    # CPU线程数
    n_batch=512     # 批次大小
)

# 示例用法
prompt = "Pytanie: Jakie są najciekawsze zabytki w Krakowie? Odpowiedź:"
output = llm(
    prompt,
    max_tokens=512,
    temperature=0.7,
    top_p=0.95
)

print(output["choices"][0]["text"])

📚 详细文档

可用模型

什么是量化？

量化是降低模型权重精度的过程，这可以减少内存需求，同时保持生成文本的可接受质量。GGUF（GPT生成统一格式）是GGML格式的继任者，它能够在消费级硬件上高效运行大型语言模型。

如何选择模型？

• Q2_K、IQ3_S和Q3_K_M：模型的最小版本，当节省内存是首要任务时理想选择。
• Q4_K_M：大多数应用的推荐选择 - 质量和大小之间的良好平衡。
• Q5_K_M：当你关心更好的质量并且有足够的内存时选择。
• Q8_0：在GPU上的最高质量，与原始模型相比质量下降最小。
• F16/BF16：全精度，未量化的参考版本。

关于PLLuM模型

PLLuM（波兰大型语言模型）是由波兰数字事务部开发的高级波兰语模型家族。此版本的模型（8x7B-chat）已针对对话（聊天）进行了优化。

模型能力：

• 生成波兰语文本
• 回答问题
• 总结文本
• 创建内容
• 翻译
• 解释概念
• 进行对话

📄 许可证

基础的PLLuM 8x7B-chat模型根据Apache许可证2.0进行分发。量化版本也遵循相同的许可证。

👨‍💻 作者

本仓库和量化的作者是Piotr Bednarski。