Rankinggpt Bloom 560m GGUF

🚀 zyznull/RankingGPT-bloom-560m - GGUF

本項目包含了zyznull/RankingGPT-bloom-560m的GGUF格式模型文件。這些文件由TensorBlock提供的機器進行量化處理，並且與commit b4242版本的llama.cpp兼容。

🚀 快速開始

本項目提供了zyznull/RankingGPT-bloom-560m模型的GGUF格式文件，下面將為你介紹相關信息及下載方法。

✨ 主要特性

• 提供多種量化類型的模型文件，可根據需求選擇不同大小和質量的文件。
• 模型文件由TensorBlock提供的機器進行量化，與特定版本的llama.cpp兼容。

📦 安裝指南

命令行方式

首先，安裝Huggingface客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/RankingGPT-bloom-560m-GGUF --include "RankingGPT-bloom-560m-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按照特定模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/RankingGPT-bloom-560m-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

我們的項目

模型文件規格

📄 許可證

本項目採用MIT許可證。