Llama 3.1 Nemotron Nano 8B V1 GGUF

🚀 nvidia/Llama-3.1-Nemotron-Nano-8B-v1 - GGUF

本項目提供了nvidia/Llama-3.1-Nemotron-Nano-8B-v1的GGUF格式模型文件。這些文件能夠助力文本生成任務，為相關領域的研究和應用提供有力支持。

📚 詳細文檔

模型概述

本倉庫包含了 nvidia/Llama-3.1-Nemotron-Nano-8B-v1 的GGUF格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與 commit b4882 版本的 llama.cpp 兼容。

我們的項目

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件規格

下載說明

命令行方式

首先，安裝Huggingface客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --include "Llama-3.1-Nemotron-Nano-8B-v1-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/Llama-3.1-Nemotron-Nano-8B-v1-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📄 許可證

本項目使用的許可證為 nvidia-open-model-license。