Fluentlylm Prinum GGUF

🚀 fluently-lm/FluentlyLM-Prinum - GGUF

本倉庫包含 fluently-lm/FluentlyLM-Prinum 的 GGUF 格式模型文件。

這些文件是使用 TensorBlock 提供的機器進行量化的，並且與 commit b4823 版本的 llama.cpp 兼容。

✨ 主要特性

支持語言眾多

支持英語、法語、西班牙語、俄語、中文、日語、波斯語以及代碼相關處理。

應用場景廣泛

適用於文本生成任務，在多個數據集上有評估結果，包括 IFEval (0-Shot)、BBH (3-Shot)、MATH Lvl 5 (4-Shot) 等。

模型格式兼容

模型文件採用 GGUF 格式，與 llama.cpp 兼容。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/FluentlyLM-Prinum-GGUF --include "FluentlyLM-Prinum-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按照模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/FluentlyLM-Prinum-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

💻 使用示例

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

📚 詳細文檔

模型文件規格

項目相關信息

模型評估結果

🔗 相關項目

Forge

• 介紹：一個與 OpenAI 兼容的多供應商路由層。
• 項目圖片：
• 體驗鏈接：🚀 立即嘗試！🚀

Awesome MCP Servers

• 介紹：一個全面的模型上下文協議（MCP）服務器集合。
• 項目圖片：
• 查看鏈接：👀 查看我們的成果 👀

TensorBlock Studio

• 介紹：一個輕量級、開放且可擴展的多 LLM 交互工作室。
• 項目圖片：
• 查看鏈接：👀 查看我們的成果 👀

📄 許可證

本項目採用 MIT 許可證。