🚀 Bielik-4.5B-v3.0-Instruct-GGUF
本仓库包含 SpeakLeash 的 Bielik-4.5B-v.3.0-Instruct 模型的 GGUF 格式文件。该模型可用于文本生成任务,为相关领域的应用提供了有力支持。
📚 技术报告:https://arxiv.org/abs/2505.02550
⚠️ 重要提示
请注意,量化模型可能会降低响应质量并产生幻觉!
🚀 快速开始
可用的量化格式
- q8_0:几乎与 float16 无差别,但资源占用高且速度慢,不建议大多数用户使用。
- fp16:将 Bielik-4.5B-v3.0-Instruct 转换为 fp16 格式的 GGUF。
Ollama Modfile
GGUF 文件可与 Ollama 一起使用。要实现这一点,你需要使用 Modfile 中定义的配置导入模型。以 Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf 模型(模型的完整路径)为例,Modfile 内容如下:
FROM ./Bielik-4.5B-v3.0-Instruct.Q4_K_M.gguf
TEMPLATE """<s>{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
# 请记住为实验模型(1 - 3 位)设置较低的温度
PARAMETER temperature 0.1
✨ 主要特性
模型描述
关于 GGUF
GGUF 是 llama.cpp 团队于 2023 年 8 月 21 日推出的一种新格式。以下是已知支持 GGUF 的客户端和库的不完全列表:
- llama.cpp:GGUF 的源项目,提供 CLI 和服务器选项。
- text-generation-webui:最广泛使用的 Web UI,具有许多功能和强大的扩展,支持 GPU 加速。
- KoboldCpp:功能齐全的 Web UI,支持所有平台和 GPU 架构的 GPU 加速,尤其适合讲故事。
- GPT4All:免费开源的本地运行 GUI,支持 Windows、Linux 和 macOS,具备完整的 GPU 加速。
- LM Studio:适用于 Windows、macOS(Silicon)和 Linux 的易于使用且功能强大的本地 GUI,支持 GPU 加速。
- LoLLMS Web UI:一个很棒的 Web UI,具有许多有趣和独特的功能,包括一个完整的模型库,便于模型选择。
- Faraday.dev:一个有吸引力且易于使用的基于角色的聊天 GUI,适用于 Windows 和 macOS(Silicon 和 Intel),支持 GPU 加速。
- llama-cpp-python:一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 API 服务器的 Python 库。
- candle:一个专注于性能的 Rust ML 框架,包括 GPU 支持且易于使用。
- ctransformers:一个支持 GPU 加速、LangChain 支持和 OpenAI 兼容 AI 服务器的 Python 库。请注意,ctransformers 很久没有更新,不支持许多最新的模型。
模型量化负责人
📄 许可证
本模型遵循 Apache 2.0 许可证和 使用条款。
📞 联系我们
如果您有任何问题或建议,请使用讨论标签。如果您想直接联系我们,请加入我们的 Discord SpeakLeash。