Fluentlylm Prinum GGUF

🚀 fluently-lm/FluentlyLM-Prinum - GGUF

本仓库包含 fluently-lm/FluentlyLM-Prinum 的 GGUF 格式模型文件。

这些文件是使用 TensorBlock 提供的机器进行量化的，并且与 commit b4823 版本的 llama.cpp 兼容。

✨ 主要特性

支持语言众多

支持英语、法语、西班牙语、俄语、中文、日语、波斯语以及代码相关处理。

应用场景广泛

适用于文本生成任务，在多个数据集上有评估结果，包括 IFEval (0-Shot)、BBH (3-Shot)、MATH Lvl 5 (4-Shot) 等。

模型格式兼容

模型文件采用 GGUF 格式，与 llama.cpp 兼容。

📦 安装指南

命令行方式

首先，安装 Huggingface 客户端：

pip install -U "huggingface_hub[cli]"

然后，将单个模型文件下载到本地目录：

huggingface-cli download tensorblock/FluentlyLM-Prinum-GGUF --include "FluentlyLM-Prinum-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按照模式（例如 *Q4_K*gguf）下载多个模型文件，可以尝试以下命令：

huggingface-cli download tensorblock/FluentlyLM-Prinum-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 详细文档

模型文件规格

项目相关信息

模型评估结果

🔗 相关项目

Forge

• 介绍：一个与 OpenAI 兼容的多供应商路由层。
• 项目图片：
• 体验链接：🚀 立即尝试！🚀

Awesome MCP Servers

• 介绍：一个全面的模型上下文协议（MCP）服务器集合。
• 项目图片：
• 查看链接：👀 查看我们的成果 👀

TensorBlock Studio

• 介绍：一个轻量级、开放且可扩展的多 LLM 交互工作室。
• 项目图片：
• 查看链接：👀 查看我们的成果 👀

📄 许可证

本项目采用 MIT 许可证。