Meta Llama 3 8B Instruct GGUF

🚀 Meta-Llama-3-8B-Instruct-GGUF

本项目基于meta-llama/Meta-Llama-3-8B-Instruct模型，提供GGUF格式和量化版本的模型，适用于文本生成任务。

🚀 快速开始

本仓库包含基于 meta-llama/Meta-Llama-3-8B-Instruct 模型的GGUF格式和量化版本的模型。以下是快速开始的步骤：

下载模型

你可以仅下载所需的量化模型，而无需克隆整个仓库，示例命令如下：

huggingface-cli download MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF --local-dir . --include '*Q2_K*gguf'

加载GGUF模型

你必须遵循Llama-3提供的提示模板：

./llama.cpp/main -m Meta-Llama-3-8B-Instruct.Q2_K.gguf -r '<|eot_id|>' --in-prefix "\n<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nYou are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\nHi! How are you?<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" -n 1024

✨ 主要特性

• 模型类型多样：提供Meta-Llama-3-8B-Instruct的多种量化版本，包括2-bit、3-bit、4-bit、5-bit、6-bit、8-bit和16-bit。
• 支持多框架：可与transformers库和原始llama3代码库配合使用。
• 性能优化：在多个标准自动基准测试中表现出色，优于Llama 2系列模型。
• 安全性提升：通过广泛的红队测试、对抗性评估和安全缓解技术，降低了残余风险。

📦 安装指南

本项目无需特殊安装步骤，你可以根据上述下载命令获取所需的模型文件。

💻 使用示例

与transformers库配合使用

以下是使用transformers库的示例代码：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

与llama3代码库配合使用

请遵循 仓库 中的说明。下载原始检查点的示例命令如下：

huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "original/*" --local-dir Meta-Llama-3-70B-Instruct

📚 详细文档

模型详情

• 开发者：Meta
• 发布日期：2024年4月18日
• 状态：基于离线数据集训练的静态模型，未来将根据社区反馈改进模型安全性并发布调优版本。
• 许可证：可在 https://llama.meta.com/llama3/license 获取自定义商业许可证。

预期用途

• 预期用例：Llama 3适用于英语的商业和研究用途。调优后的模型适用于类似助手的聊天场景，而预训练模型可用于各种自然语言生成任务。
• 超出范围的使用：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用，以及违反可接受使用政策和Llama 3社区许可证的其他使用方式。不支持英语以外的语言使用。

训练数据

• 概述：Llama 3在超过15万亿个公开可用数据源的令牌上进行了预训练。微调数据包括公开可用的指令数据集以及超过1000万个手动标注的示例。预训练和微调数据集均不包含Meta用户数据。
• 数据新鲜度：7B模型的预训练数据截止到2023年3月，70B模型的预训练数据截止到2023年12月。

基准测试

在标准自动基准测试中，Llama 3模型的表现如下：

基础预训练模型

调优模型

责任与安全

• 责任使用指南：更新了 责任使用指南，概述了开发者为其应用实现模型和系统级安全的步骤和最佳实践。
• 安全工具：提供了 Meta Llama Guard 2 和 Code Shield 等安全防护工具，可显著降低大语言模型系统的残余风险，同时保持高度的实用性。
• Llama 3-Instruct：
  • 安全性：通过广泛的红队测试、对抗性评估和安全缓解技术，降低了残余风险。但与任何大语言模型一样，仍可能存在残余风险，建议开发者根据其用例评估这些风险。
  • 拒绝率：改进了微调过程，确保Llama 3比Llama 2更不容易错误地拒绝回答提示。
• 责任发布：遵循严格的流程，在发布前采取额外措施防止滥用和关键风险。

伦理考虑与局限性

Llama 3的核心价值观是开放性、包容性和实用性。但作为一项新技术，其使用存在风险。目前的测试仅在英语环境下进行，无法覆盖所有场景。因此，在部署Llama 3模型的任何应用之前，开发者应针对其特定应用进行安全测试和调优。建议将 Purple Llama 解决方案纳入工作流程，特别是 Llama Guard，它提供了一个基础模型，可在模型级安全的基础上增加系统级安全过滤输入和输出提示。

🔧 技术细节

• 模型架构：Llama 3是一种自回归语言模型，采用了优化的Transformer架构。调优版本使用了监督微调（SFT）和基于人类反馈的强化学习（RLHF）来符合人类对实用性和安全性的偏好。
• 训练因素：使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算平台上进行。
• 二氧化碳排放：预训练期间的二氧化碳排放情况如下： | 模型 | 时间 (GPU小时) | 功耗 (W) | 碳排放 (tCO2eq) | | ---- | ---- | ---- | ---- | | Llama 3 8B | 1.3M | 700 | 390 | | Llama 3 70B | 6.4M | 700 | 1900 | | 总计 | 7.7M | - | 2290 |

所有排放均由Meta的可持续发展计划直接抵消，并且由于这些模型是公开发布的，其他用户无需承担预训练成本。

📄 许可证

本项目遵循自定义商业许可证，可在 https://llama.meta.com/llama3/license 获取详细信息。

引用说明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos