Kyutai Helium 1 2b GGUF

🚀 kyutai/helium-1-2b - GGUF

本項目提供了基於 kyutai/helium-1-2b 的 GGUF 格式模型文件。該文件由 TensorBlock 提供的機器進行量化，並且與 commit b5753 版本的 llama.cpp 兼容。

🚀 快速開始

本倉庫包含了 kyutai/helium-1-2b 的 GGUF 格式模型文件。下面將為你介紹如何下載和使用這些模型文件。

✨ 主要特性

• 多語言支持：支持保加利亞語（bg）、捷克語（cs）、丹麥語（da）等多種語言。
• 量化模型：使用 TensorBlock 提供的機器進行量化，與 llama.cpp 兼容。
• 多種量化類型：提供了 Q2_K、Q3_K_S、Q4_0 等多種量化類型的模型文件，以滿足不同的使用需求。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/kyutai_helium-1-2b-GGUF --include "helium-1-2b-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/kyutai_helium-1-2b-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

提示模板

無法自動確定提示格式。請查看原始模型倉庫以獲取正確的提示格式。

模型文件規格

🔗 相關項目

📄 許可證

本項目採用 CC BY-SA 4.0 許可證。