Llama 2 13b Chat Hf

🚀 Llama 2

Llama 2是一系列预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。本仓库为13B微调模型，针对对话用例进行了优化，并转换为Hugging Face Transformers格式。其他模型的链接可在底部索引中找到。

🚀 快速开始

使用本模型受Meta许可证的约束。若要下载模型权重和分词器，请访问网站，接受许可协议后，再在此处申请访问权限。

✨ 主要特性

• Meta开发并公开发布了Llama 2系列大语言模型（LLM），这是一组预训练和微调的生成式文本模型，参数规模从70亿到700亿不等。
• 经过微调的LLM（Llama - 2 - Chat）针对对话用例进行了优化。在大多数测试基准中，Llama - 2 - Chat模型的表现优于开源聊天模型；在人工评估的有用性和安全性方面，与ChatGPT和PaLM等一些流行的闭源模型相当。

📚 详细文档

模型详情

• 模型开发者：Meta
• 变体：Llama 2有多种参数规模（7B、13B和70B），以及预训练和微调等不同版本。
• 输入：模型仅接受文本输入。
• 输出：模型仅生成文本。
• 模型架构：Llama 2是一种自回归语言模型，采用了优化的Transformer架构。微调版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF），以符合人类对有用性和安全性的偏好。

预期用途

• 预期用例：Llama 2用于英语商业和研究。微调模型用于类助手聊天，预训练模型可用于多种自然语言生成任务。要获得聊天版本的预期特性和性能，需遵循特定格式，包括INST和<<SYS>>标签、BOS和EOS令牌，以及其间的空格和换行符（建议对输入调用strip()以避免双空格）。详情见GitHub参考代码：chat_completion。
• 非预期用途：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用；禁止使用英语以外的语言；禁止以违反Llama 2可接受使用政策和许可协议的任何其他方式使用。

硬件和软件

• 训练因素：预训练使用自定义训练库、Meta的研究超级集群和生产集群。微调、标注和评估在第三方云计算平台上进行。
• 碳足迹：预训练在A100 - 80GB（TDP为350 - 400W）硬件上累计使用330万GPU小时计算。估计总排放量为539 tCO₂eq，全部由Meta的可持续发展计划抵消。

训练数据

• 概述：Llama 2在2万亿公开数据令牌上进行预训练。微调数据包括公开指令数据集以及超100万新的人工标注示例。预训练和微调数据集均不包含Meta用户数据。
• 数据时效性：预训练数据截止到2022年9月，部分微调数据更新至2023年7月。

评估结果

学术基准整体表现

预训练LLM在自动安全基准上的评估

微调LLM在不同安全数据集上的评估

伦理考量与局限性

Llama 2是一项新技术，使用时存在风险。目前的测试仅使用英语，无法涵盖所有场景。因此，与所有大语言模型一样，Llama 2的潜在输出无法提前预测，在某些情况下，模型可能会对用户提示产生不准确、有偏差或其他令人反感的回复。所以，在部署Llama 2的任何应用之前，开发者应针对特定应用进行安全测试和调整。请参阅负责任使用指南。

问题反馈

请通过以下方式报告软件“漏洞”或模型的其他问题：

• 报告模型问题：github.com/facebookresearch/llama
• 报告模型生成的问题内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info

Llama模型索引

Llama 2社区许可协议

若要访问此模型，您需要与Meta共享联系信息。点击下方的“我接受”或使用、分发Llama材料的任何部分或元素，即表示您同意受本协议的约束。协议详细规定了许可权利与再分发、额外商业条款、免责声明、责任限制、知识产权、期限与终止、适用法律与管辖权等内容。同时，使用Llama 2需遵守可接受使用政策，禁止用于违法、危害人身安全、欺骗误导等行为。若发现违反政策、软件“漏洞”或其他问题，可通过指定方式进行报告。

Llama 2可接受使用政策

Meta致力于促进其工具和功能（包括Llama 2）的安全和公平使用。如果您访问或使用Llama 2，则表示您同意本可接受使用政策。最新版本的政策可在[ai.meta.com/llama/use - policy](http://ai.meta.com/llama/use - policy)找到。

禁止用途

• 不得使用Llama 2违反法律或他人权利，包括从事、促进非法活动、骚扰他人、进行歧视、未经授权从事专业活动、收集敏感个人信息、侵犯第三方权利、创建恶意代码等。
• 不得使用Llama 2从事、促进可能对个人造成死亡或身体伤害的活动，如军事、武器、毒品、操作关键基础设施等相关活动。
• 不得故意使用Llama 2欺骗或误导他人，包括生成欺诈信息、诽谤内容、垃圾邮件、冒充他人、虚假表示输出为人为生成等。
• 若AI系统存在已知危险，需向最终用户适当披露。

若发现违反本政策、软件“漏洞”或其他可能导致违反本政策的问题，请通过以下方式报告：

• 报告模型问题：github.com/facebookresearch/llama
• 报告模型生成的风险内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info
• 报告违反可接受使用政策或未经授权使用Llama的情况：LlamaUseReport@meta.com

信息收集说明

您提供的信息将根据Meta隐私政策进行收集、存储、处理和共享。提交信息时，需勾选接受许可协议条款，并确认信息将按Meta隐私政策处理。

额外信息字段