Llama3 Aloe 8B Alpha GGUF

🚀 HPAI-BSC/Llama3-Aloe-8B-Alpha - GGUF

本項目包含適用於 HPAI-BSC/Llama3-Aloe-8B-Alpha 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與截至 提交 b4011 的 llama.cpp 兼容。

✨ 主要特性

• 領域針對性強：專注於生物學和醫學領域，適用於相關的問答任務。
• 多數據集訓練：使用了多個高質量數據集進行訓練，如 argilla/dpo-mix-7k、nvidia/HelpSteer 等。
• 模型兼容性好：提供的 GGUF 格式模型文件與 llama.cpp 兼容。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Llama3-Aloe-8B-Alpha-GGUF --include "Llama3-Aloe-8B-Alpha-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試：

huggingface-cli download tensorblock/Llama3-Aloe-8B-Alpha-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

提示模板

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

模型文件規格

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。

🔍 相關數據集

• argilla/dpo-mix-7k
• nvidia/HelpSteer
• jondurbin/airoboros-3.2
• hkust-nlp/deita-10k-v0
• LDJnr/Capybara
• HPAI-BSC/CareQA
• GBaker/MedQA-USMLE-4-options
• lukaemon/mmlu
• bigbio/pubmed_qa
• openlifescienceai/medmcqa
• bigbio/med_qa
• HPAI-BSC/better-safe-than-sorry
• HPAI-BSC/pubmedqa-cot
• HPAI-BSC/medmcqa-cot
• HPAI-BSC/medqa-cot

🌟 我們的其他項目

Awesome MCP Servers	TensorBlock Studio
一個全面的模型上下文協議（MCP）服務器集合。	一個輕量級、開放且可擴展的多大型語言模型交互工作室。
👉 查看項目 👈	👉 查看項目 👈