Llama 3 Groq 8B Tool Use GGUF

🚀 Groq/Llama-3-Groq-8B-Tool-Use - GGUF

本倉庫包含 Groq/Llama-3-Groq-8B-Tool-Use 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化處理，並且與截至 提交 b4011 版本的 llama.cpp 兼容。

反饋與支持

反饋和支持渠道：可通過 TensorBlock 的 Twitter/X、Telegram 群組 和 Discord 服務器 獲取。

🚀 快速開始

本項目提供了 Groq/Llama-3-Groq-8B-Tool-Use 模型的 GGUF 格式文件，方便用戶使用。

✨ 主要特性

• 提供多種量化類型的模型文件，滿足不同場景需求。
• 與 llama.cpp 兼容，方便集成使用。

📦 安裝指南

命令行安裝

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Llama-3-Groq-8B-Tool-Use-GGUF --include "Llama-3-Groq-8B-Tool-Use-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果您想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/Llama-3-Groq-8B-Tool-Use-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

我們的項目

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件規格

📄 許可證

本項目使用 llama3 許可證。

信息表格