Meta Llama 3 70B Instruct

🚀 Meta Llama 3大语言模型

Meta Llama 3是Meta开发并发布的一系列大语言模型（LLMs），包含80亿和700亿参数两种规格的预训练和指令微调生成式文本模型。这些模型经过优化，适用于对话场景，在常见行业基准测试中表现出色，同时注重提升模型的实用性和安全性。

🚀 快速开始

使用transformers库

以下是使用Transformers库调用Meta Llama 3模型的示例代码：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

使用原始llama3代码库

请参考仓库中的说明进行操作。 若要下载原始检查点，可使用以下huggingface-cli命令：

huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "original/*" --local-dir Meta-Llama-3-70B-Instruct

✨ 主要特性

• 多规格选择：Llama 3有80亿和700亿参数两种规格的预训练和指令微调版本。
• 对话优化：指令微调模型针对对话场景进行了优化，在常见行业基准测试中表现优于许多开源聊天模型。
• 注重安全：在开发过程中，充分考虑了模型的实用性和安全性。

📦 安装指南

本仓库包含两个版本的Meta-Llama-3-70B-Instruct，可分别与transformers库和原始llama3代码库配合使用。具体安装和使用方法请参考上述“快速开始”部分。

💻 使用示例

基础用法

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

📚 详细文档

模型详情

预期用途

• 预期用例：Llama 3旨在用于英语的商业和研究用途。指令微调模型适用于类似助手的聊天场景，而预训练模型可用于各种自然语言生成任务。
• 超出范围的使用：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以《可接受使用政策》和《Llama 3社区许可证》禁止的任何其他方式使用。禁止在英语以外的语言中使用。

⚠️ 重要提示

开发者可以在遵守《Llama 3社区许可证》和《可接受使用政策》的前提下，对Llama 3模型进行微调以支持英语以外的语言。

基准测试

基础预训练模型

指令微调模型

责任与安全

作为Llama 3发布的一部分，我们更新了《负责任使用指南》，概述了开发者为其应用实施模型和系统级安全的步骤和最佳实践。我们还提供了一系列资源，包括Meta Llama Guard 2和Code Shield防护措施。这些工具已被证明能大幅降低大语言模型系统的残余风险，同时保持较高的实用性。我们鼓励开发者根据自身需求调整和部署这些防护措施，并提供了参考实现供您参考。

Llama 3-Instruct

• 安全性：对于指令微调模型，我们进行了广泛的红队测试、对抗性评估，并实施了安全缓解技术以降低残余风险。与任何大语言模型一样，残余风险可能仍然存在，我们建议开发者在其用例的背景下评估这些风险。同时，我们正在与社区合作，使人工智能安全基准标准更加透明、严格和可解释。
• 拒绝回复：除了残余风险，我们还非常重视模型对良性提示的拒绝回复问题。过度拒绝不仅会影响用户体验，在某些情况下甚至可能有害。我们听取了开发者社区的反馈，改进了微调过程，确保Llama 3比Llama 2更不可能错误地拒绝回答提示。

负责任的发布

• 滥用：如果您访问或使用Llama 3，即表示您同意《可接受使用政策》。该政策的最新版本可在此处查看。
• 关键风险
  • CBRNE（化学、生物、放射、核和高当量爆炸物）：我们对模型在这方面的安全性进行了双重评估：在模型训练期间进行迭代测试，以评估与CBRNE威胁和其他对抗性风险相关的回复安全性；邀请外部CBRNE专家进行提升测试，评估模型准确提供专家知识并减少潜在CBRNE滥用障碍的能力，参考不使用该模型时通过网络搜索所能达到的效果。
  • 网络安全：我们使用Meta的网络安全评估套件CyberSecEval对Llama 3进行了评估，衡量Llama 3作为编码助手时建议不安全代码的倾向，以及Llama 3响应协助进行网络攻击请求的倾向（攻击定义参照行业标准MITRE ATT&CK网络攻击本体）。在不安全编码和协助网络攻击方面的测试中，Llama 3的表现与具有同等编码能力的模型相当或更安全。
  • 儿童安全：我们组建了专家团队进行儿童安全风险评估，以评估模型产生可能导致儿童安全风险的输出的能力，并通过微调提供必要和适当的风险缓解建议。我们利用这些专家红队测试扩展了评估基准的覆盖范围。对于Llama 3，我们采用基于目标的方法进行了新的深入测试，以评估模型在多种攻击向量下的风险。我们还与内容专家合作进行红队测试，评估可能违反规定的内容，同时考虑特定市场的细微差别和经验。

伦理考量与局限性

Llama 3是一项新技术，与任何新技术一样，其使用存在风险。到目前为止的测试均使用英语进行，且无法涵盖所有场景。因此，与所有大语言模型一样，Llama 3的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏见或其他令人反感的回复。因此，在部署Llama 3模型的任何应用之前，开发者应针对其特定应用进行安全测试和调整。如《负责任使用指南》所述，我们建议将Purple Llama解决方案纳入您的工作流程，特别是Llama Guard，它提供了一个基础模型，用于过滤输入和输出提示，在模型级安全的基础上增加系统级安全。

请参阅《负责任使用指南》。

引用说明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

贡献者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos

📄 许可证

可在此处获取自定义商业许可证。