Meta Llama Meta Llama 3 8B Instruct 4bits

🚀 Meta-Llama-3-8B-Instruct 量化模型

本项目提供了 Meta-Llama-3-8B-Instruct 模型的量化版本，由 Richard Erkhov 完成。通过量化技术，可在保证一定性能的前提下，有效减少模型的存储和计算资源需求。该模型基于 Meta 开发的 Llama 3 大语言模型，在对话场景中表现出色，适用于商业和研究用途。

GitHub

Discord

请求更多模型

🚀 快速开始

本仓库包含两个版本的 Meta-Llama-3-8B-Instruct，可分别与 transformers 库和原始 llama3 代码库配合使用。以下是详细的使用说明：

使用 transformers 库

你可以使用 transformers 库的 pipeline 抽象，或利用 Auto 类结合 generate() 函数进行对话推理。以下是两种方法的示例：

Transformers pipeline

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages, 
    tokenize=False, 
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

使用 llama3 代码库

请遵循 仓库 中的说明进行操作。

若要下载原始检查点，可使用以下 huggingface-cli 命令示例：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

对于 Hugging Face 支持，建议使用 transformers 或 TGI，但类似的命令同样适用。

✨ 主要特性

• 高性能：Meta Llama 3 系列大语言模型在常见行业基准测试中表现出色，超越了许多现有的开源聊天模型。
• 多场景适用：指令微调模型针对对话用例进行了优化，适用于类助手聊天；预训练模型可用于各种自然语言生成任务。
• 安全可靠：在模型开发过程中，充分考虑了安全性和实用性，通过一系列安全措施降低潜在风险。
• 可扩展性：提供 8B 和 70B 两种参数规模的模型，满足不同应用场景的需求。

📦 安装指南

本项目的安装依赖于 transformers 库和 huggingface-cli 工具。你可以使用以下命令进行安装：

pip install transformers
pip install huggingface-cli

📚 详细文档

模型详情

Meta 开发并发布了 Meta Llama 3 系列大语言模型（LLMs），这是一组包含 8B 和 70B 规模的预训练和指令微调生成文本模型。Llama 3 指令微调模型针对对话用例进行了优化，在常见行业基准测试中超越了许多现有的开源聊天模型。此外，在开发这些模型时，我们非常注重优化实用性和安全性。

训练数据

• 概述：Llama 3 在超过 15 万亿个公开数据源的令牌上进行了预训练。微调数据包括公开可用的指令数据集，以及超过 1000 万个经过人工标注的示例。预训练和微调数据集均不包含 Meta 用户数据。
• 数据新鲜度：预训练数据的截止时间分别为 2023 年 3 月（7B 模型）和 2023 年 12 月（70B 模型）。

基准测试

在本节中，我们报告了 Llama 3 模型在标准自动基准测试中的结果。所有评估均使用我们的内部评估库进行。有关方法的详细信息，请参阅 此处。

基础预训练模型

指令微调模型

责任与安全

我们认为开放的 AI 方法能够带来更好、更安全的产品，加速创新，并扩大整体市场。我们致力于负责任的 AI 开发，并采取了一系列措施来限制滥用和危害，支持开源社区。

基础模型是一种通用技术，旨在用于各种应用场景。由于不同应用的安全需求不同，这些模型并非开箱即用就能满足所有开发者对安全级别的要求。

相反，负责任的大语言模型应用部署需要在应用开发的各个阶段实施一系列安全最佳实践，从模型预训练、微调，到部署包含安全保障措施的系统，以满足特定用例和受众的安全需求。

作为 Llama 3 发布的一部分，我们更新了 负责任使用指南，概述了开发者为其应用实施模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括 Meta Llama Guard 2 和 Code Shield 安全保障工具。这些工具已被证明能够显著降低大语言模型系统的残留风险，同时保持较高的实用性。我们鼓励开发者根据自身需求调整和部署这些安全保障措施，并提供了一个 参考实现 供你参考。

Llama 3-Instruct

正如《负责任使用指南》中所述，模型实用性和模型对齐性之间可能存在一定的权衡。开发者应根据具体用例和受众，谨慎权衡对齐性和实用性的益处。在使用 Llama 模型时，开发者应注意残留风险，并根据需要使用额外的安全工具，以达到适合其用例的安全标准。

安全性：对于我们的指令微调模型，我们进行了广泛的红队测试、对抗性评估，并实施了安全缓解技术，以降低残留风险。与任何大语言模型一样，残留风险可能仍然存在，我们建议开发者在其用例的背景下评估这些风险。同时，我们正在与社区合作，使 AI 安全基准标准更加透明、严格和可解释。

拒绝回答：除了残留风险，我们还非常重视模型对良性提示的拒绝回答问题。过度拒绝不仅会影响用户体验，在某些情况下甚至可能有害。我们听取了开发者社区的反馈，并改进了微调过程，确保 Llama 3 比 Llama 2 更不可能错误地拒绝回答提示。

我们建立了内部基准测试，并开发了缓解措施，以限制错误拒绝回答的情况，使 Llama 3 成为我们迄今为止最实用的模型。

负责任的发布

除了上述负责任使用的考虑因素外，我们还遵循了严格的流程，在做出发布决定之前，采取了额外的措施来防止滥用和重大风险。

滥用：如果你访问或使用 Llama 3，即表示你同意《可接受使用政策》。该政策的最新版本可在 此处 查看。

重大风险

CBRNE（化学、生物、放射性、核和高当量爆炸物）：我们对模型在这方面的安全性进行了双重评估：

• 在模型训练期间进行迭代测试，评估与 CBRNE 威胁和其他对抗性风险相关的响应安全性。
• 邀请外部 CBRNE 专家进行提升测试，评估模型准确提供专家知识的能力，并参考网络搜索（不使用模型）的结果，降低潜在 CBRNE 滥用的风险。

网络安全：我们使用 Meta 的网络安全评估套件 CyberSecEval 对 Llama 3 进行了评估，测量了 Llama 3 在作为编码助手时建议不安全代码的倾向，以及在执行网络攻击请求时的合规性，其中攻击定义遵循行业标准 MITRE ATT&CK 网络攻击本体。在不安全编码和网络攻击实用性测试中，Llama 3 的表现与 同等编码能力的模型 相当或更安全。

儿童安全：我们组建了专家团队进行儿童安全风险评估，评估模型产生可能导致儿童安全风险输出的能力，并通过微调提供必要的风险缓解建议。我们利用这些专家红队测试扩展了评估基准的覆盖范围，贯穿 Llama 3 模型的开发过程。对于 Llama 3，我们采用基于目标的方法进行了新的深入测试，评估模型在多个攻击向量下的风险。我们还与内容专家合作进行红队测试，评估可能违反规定的内容，同时考虑特定市场的细微差别和经验。

社区

生成式 AI 安全需要专业知识和工具，我们相信开放社区的力量能够加速其发展。我们积极参与开放联盟，包括 AI 联盟、AI 合作伙伴关系和 MLCommons，积极为安全标准化和透明度做出贡献。我们鼓励社区采用 MLCommons 概念验证评估等分类方法，促进安全和内容评估的协作和透明度。我们的 Purple Llama 工具已开源供社区使用，并广泛分发至包括云服务提供商在内的生态系统合作伙伴。我们鼓励社区为我们的 GitHub 仓库 做出贡献。

最后，我们建立了一系列资源，包括 输出报告机制 和 漏洞赏金计划，以借助社区的力量不断改进 Llama 技术。

道德考量与局限性

Llama 3 的核心价值观是开放性、包容性和实用性。它旨在为所有人服务，适用于各种用例。因此，它的设计旨在让不同背景、经验和观点的人都能使用。Llama 3 尊重用户及其需求，不插入不必要的判断或规范性内容，同时认识到即使某些内容在某些情况下可能存在问题，但在其他情况下也可能有价值。它尊重所有用户的尊严和自主性，特别是在推动创新和进步的自由思想和表达价值观方面。

然而，Llama 3 是一项新技术，与任何新技术一样，其使用存在一定风险。到目前为止的测试均以英语进行，无法涵盖所有场景。因此，与所有大语言模型一样，Llama 3 的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的响应。因此，在部署 Llama 3 模型的任何应用之前，开发者应针对其特定应用进行安全测试和调整。正如《负责任使用指南》中所述，我们建议将 Purple Llama 解决方案纳入你的工作流程，特别是 Llama Guard，它提供了一个基础模型，用于过滤输入和输出提示，在模型级安全的基础上增加系统级安全。

请参阅 负责任使用指南。

引用说明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos

🔧 技术细节

硬件与软件

• 训练因素：我们使用自定义训练库、Meta 的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算平台上进行。
• 碳足迹：预训练过程累计使用了 770 万 GPU 小时的 H100 - 80GB 硬件（TDP 为 700W）。估计总排放量为 2290 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。

模型使用说明

本仓库包含两个版本的 Meta-Llama-3-8B-Instruct，可分别与 transformers 库和原始 llama3 代码库配合使用。具体使用方法请参考上述“快速开始”部分。

📄 许可证

本模型采用自定义商业许可证，详情请见 https://llama.meta.com/llama3/license。

⚠️ 重要提示

• 使用本模型时，请遵守适用的法律法规（包括贸易合规法律）。
• 请遵守《可接受使用政策》和 Llama 3 社区许可证的规定。

💡 使用建议

• 开发者可根据具体需求对 Llama 3 模型进行微调，但需遵守 Llama 3 社区许可证和《可接受使用政策》。
• 在部署 Llama 3 模型的应用之前，建议进行安全测试和调整，并结合 Purple Llama 解决方案，提高系统的安全性。