Meta Llama 3 8B

🚀 Meta Llama 3 大语言模型

Meta Llama 3 是 Meta 研发并发布的一系列大语言模型（LLMs），涵盖 8B 和 70B 两种参数规模的预训练和指令微调生成式文本模型。这些模型针对对话场景进行了优化，在常见行业基准测试中表现出色，同时兼顾了实用性和安全性。

🚀 快速开始

使用 Transformers 库

以下是使用 Transformers 库调用 Meta-Llama-3-8B 模型的示例代码：

>>> import transformers
>>> import torch

>>> model_id = "meta-llama/Meta-Llama-3-8B"

>>> pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
>>> pipeline("Hey how are you doing today?")

使用 llama3 代码库

请遵循 仓库 中的说明进行操作。 使用 huggingface-cli 下载原始检查点的示例命令如下：

huggingface-cli download meta-llama/Meta-Llama-3-8B --include "original/*" --local-dir Meta-Llama-3-8B

对于 Hugging Face 支持，建议使用 Transformers 或 TGI，类似的命令同样适用。

✨ 主要特性

• 多参数规模选择：提供 8B 和 70B 两种参数规模的模型，满足不同应用场景的需求。
• 对话优化：指令微调模型针对对话场景进行了优化，在常见行业基准测试中表现优于许多开源聊天模型。
• 安全性提升：在模型开发过程中，注重安全性和实用性的平衡，采取了一系列措施限制滥用和危害。
• 广泛应用：预训练模型可用于多种自然语言生成任务，指令微调模型适用于类助手聊天场景。

📦 安装指南

本仓库包含两个版本的 Meta-Llama-3-8B 模型，分别适用于 Transformers 库和原始 llama3 代码库。具体安装和使用方法请参考上述“快速开始”部分。

💻 使用示例

基础用法

使用 Transformers 库调用模型的基础示例：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
result = pipeline("Hey how are you doing today?")
print(result)

高级用法

目前文档未提供高级用法示例，你可以参考 仓库 中的更多说明。

📚 详细文档

模型详情

预期用途

• 预期用例：Llama 3 旨在用于英语商业和研究用途。指令微调模型适用于类助手聊天，预训练模型可用于多种自然语言生成任务。
• 超出范围的使用：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以《可接受使用政策》和《Llama 3 社区许可证》禁止的任何其他方式使用。禁止在英语以外的语言中使用。

⚠️ 重要提示

开发者可以对 Llama 3 模型进行微调以支持英语以外的语言，但前提是必须遵守《Llama 3 社区许可证》和《可接受使用政策》。

硬件和软件

• 训练因素：预训练使用了自定义训练库、Meta 的研究超级集群和生产集群。微调、标注和评估也在第三方云计算平台上进行。
• 碳足迹：预训练在 H100 - 80GB 类型的硬件上累计使用了 770 万个 GPU 小时的计算资源（TDP 为 700W）。估计总排放量为 2290 tCO2eq，其中 100% 由 Meta 的可持续发展计划抵消。

训练数据

• 概述：Llama 3 在来自公开可用来源的超过 15 万亿个标记的数据上进行了预训练。微调数据包括公开可用的指令数据集以及超过 1000 万个手动标注的示例。预训练和微调数据集均不包含 Meta 用户数据。
• 数据新鲜度：8B 模型的预训练数据截止到 2023 年 3 月，70B 模型截止到 2023 年 12 月。

基准测试

在本节中，我们报告了 Llama 3 模型在标准自动基准测试中的结果。所有评估均使用我们的内部评估库。有关方法的详细信息，请参阅 此处。

基础预训练模型

指令微调模型

责任与安全

我们认为开放的人工智能方法能够带来更好、更安全的产品，加速创新，并扩大整体市场。我们致力于负责任地开发人工智能，并采取了一系列措施来限制滥用和危害，支持开源社区。

基础模型是功能广泛的技术，旨在用于多种应用。它们并非旨在开箱即满足所有开发者对所有用例的安全级别偏好，因为这些偏好本质上会因不同应用而异。

相反，负责任地部署大语言模型应用需要在应用开发的整个过程中实施一系列安全最佳实践，从模型预训练、微调，到部署包含保障措施的系统，以根据具体用例和受众量身定制安全需求。

作为 Llama 3 发布的一部分，我们更新了 《负责任使用指南》，概述了开发者为其应用实施模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括 Meta Llama Guard 2 和 Code Shield 保障措施。这些工具已被证明能显著降低大语言模型系统的残留风险，同时保持较高的实用性。我们鼓励开发者根据自身需求调整和部署这些保障措施，并提供了 参考实现 供你参考。

Llama 3 - Instruct

正如《负责任使用指南》中所述，模型实用性和模型对齐性之间的权衡可能不可避免。开发者应根据具体用例和受众，谨慎权衡对齐性和实用性的好处。在使用 Llama 模型时，开发者应注意残留风险，并根据需要利用额外的安全工具，以达到适合其用例的安全标准。

• 安全性：对于我们的指令微调模型，我们进行了广泛的红队测试、对抗性评估，并实施了安全缓解措施，以降低残留风险。与任何大语言模型一样，残留风险可能仍然存在，我们建议开发者根据其用例评估这些风险。同时，我们正在与社区合作，使人工智能安全基准标准更加透明、严格和可解释。
• 拒绝响应：除了残留风险，我们非常重视模型对良性提示的拒绝响应。过度拒绝不仅会影响用户体验，在某些情况下甚至可能有害。我们听取了开发者社区的反馈，改进了微调过程，确保 Llama 3 比 Llama 2 更不可能错误地拒绝回答提示。我们建立了内部基准并开发了缓解措施，以限制错误拒绝，使 Llama 3 成为迄今为止最实用的模型。

负责任的发布

除了上述负责任使用的考虑因素外，我们遵循了严格的流程，在做出发布决定之前，采取了额外的措施来防止滥用和应对关键风险。

• 滥用：如果你访问或使用 Llama 3，即表示你同意《可接受使用政策》。该政策的最新版本可在 此处 查看。
• 关键风险
  • CBRNE（化学、生物、放射、核和高当量爆炸物）：我们对模型在这方面的安全性进行了双重评估：在模型训练期间进行迭代测试，以评估与 CBRNE 威胁和其他对抗性风险相关的响应安全性；邀请外部 CBRNE 专家进行提升测试，评估模型准确提供专家知识并降低潜在 CBRNE 滥用风险的能力，参考不使用模型时通过网络搜索所能达到的效果。
  • 网络安全：我们使用 Meta 的网络安全评估套件 CyberSecEval 对 Llama 3 进行了评估，衡量了 Llama 3 在作为编码助手时建议不安全代码的倾向，以及在执行网络攻击请求时的响应倾向（攻击定义遵循行业标准 MITRE ATT&CK 网络攻击本体）。在不安全编码和网络攻击实用性测试中，Llama 3 的表现与 具有同等编码能力的模型 处于同一水平或更安全。
  • 儿童安全：我们组建了专家团队进行儿童安全风险评估，以评估模型产生可能导致儿童安全风险的输出的能力，并通过微调提供必要和适当的风险缓解措施。在 Llama 3 模型开发过程中，我们利用这些专家红队测试扩展了评估基准的覆盖范围。对于 Llama 3，我们采用基于目标的方法进行了新的深入测试，以评估模型在多个攻击向量下的风险。我们还与内容专家合作进行红队测试，评估可能违规的内容，同时考虑特定市场的细微差别或经验。

社区

生成式人工智能安全需要专业知识和工具，我们相信开放社区的力量能够加速其发展。我们积极参与开放联盟，包括人工智能联盟、人工智能合作组织和 MLCommons，积极为安全标准化和透明度做出贡献。我们鼓励社区采用 MLCommons 概念验证评估等分类方法，以促进安全和内容评估方面的合作和透明度。我们的 Purple Llama 工具已开源，供社区使用，并广泛分发到包括云服务提供商在内的生态系统合作伙伴。我们鼓励社区为我们的 GitHub 仓库 做出贡献。

最后，我们建立了一系列资源，包括 输出报告机制 和 漏洞赏金计划，以借助社区的力量不断改进 Llama 技术。

🔧 技术细节

模型架构

Llama 3 是自回归语言模型，采用优化的 Transformer 架构。微调版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF）来符合人类对实用性和安全性的偏好。

训练数据

预训练数据来自公开可用的在线数据源，超过 15 万亿个标记。微调数据包括公开可用的指令数据集和超过 1000 万个手动标注的示例。预训练和微调数据集均不包含 Meta 用户数据。

基准测试方法

所有评估均使用内部评估库。有关方法的详细信息，请参阅 此处。

📄 许可证

可在 此处 获取自定义商业许可证。

引用说明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos