🚀 openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF
本模型是使用llama.cpp,通過ggml.ai的GGUF-my-repo空間,從nvidia/Llama-3_3-Nemotron-Super-49B-v1
轉換為GGUF格式的。有關該模型的更多詳細信息,請參考原始模型卡片。
🚀 快速開始
與llama.cpp一起使用
通過brew安裝llama.cpp(適用於Mac和Linux)
brew install llama.cpp
調用llama.cpp服務器或命令行界面(CLI)。
命令行界面(CLI):
llama-cli --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -p "The meaning to life and the universe is"
服務器:
llama-server --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -c 2048
注意:您也可以直接通過Llama.cpp倉庫中列出的使用步驟使用此檢查點。
步驟1:從GitHub克隆llama.cpp。
git clone https://github.com/ggerganov/llama.cpp
步驟2:進入llama.cpp文件夾,並使用LLAMA_CURL=1
標誌以及其他特定於硬件的標誌(例如,在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1
)進行編譯。
cd llama.cpp && LLAMA_CURL=1 make
步驟3:通過主二進制文件運行推理。
./llama-cli --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -c 2048
📦 安裝指南
通過brew安裝llama.cpp
brew install llama.cpp
💻 使用示例
基礎用法
命令行界面(CLI)
llama-cli --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -p "The meaning to life and the universe is"
服務器
llama-server --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -c 2048
高級用法
從GitHub克隆並編譯llama.cpp後運行推理
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && LLAMA_CURL=1 make
./llama-cli --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -p "The meaning to life and the universe is"
或者
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && LLAMA_CURL=1 make
./llama-server --hf-repo openfree/Llama-3_3-Nemotron-Super-49B-v1-Q6_K-GGUF --hf-file llama-3_3-nemotron-super-49b-v1-q6_k.gguf -c 2048
📄 許可證
本項目使用的許可證為nvidia-open-model-license
,您可以通過此鏈接查看詳細的許可證信息。
📋 模型信息
屬性 |
詳情 |
基礎模型 |
nvidia/Llama-3_3-Nemotron-Super-49B-v1 |
語言 |
en |
庫名稱 |
transformers |
許可證 |
other |
許可證名稱 |
nvidia-open-model-license |
許可證鏈接 |
https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-open-model-license/ |
任務類型 |
文本生成 |
標籤 |
nvidia, llama-3, pytorch, llama-cpp, gguf-my-repo |