Meta Llama 3 8B Instruct GPTQ

🚀 Meta-Llama-3-8B-Instruct模型

Meta-Llama-3-8B-Instruct是Meta开发的大语言模型，有8B和70B参数两种版本。该模型经过优化，适用于对话场景，在常见行业基准测试中表现出色，同时兼顾了实用性和安全性。

🚀 快速开始

本仓库包含Meta-Llama-3-8B-Instruct的两个版本，可分别与transformers库和原始llama3代码库配合使用。

💻 使用示例

基础用法

使用transformers库的示例代码如下：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

高级用法

使用原始llama3代码库时，请遵循仓库中的说明。 下载原始检查点的示例命令如下：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

对于Hugging Face支持，建议使用transformers或TGI，但类似的命令也适用。

✨ 主要特性

• 多版本选择：Llama 3有8B和70B参数两种版本，可满足不同场景需求。
• 优化对话体验：经过指令调整的模型针对对话场景进行了优化，在常见行业基准测试中表现优于许多开源聊天模型。
• 注重安全与实用：在开发过程中，充分考虑了实用性和安全性。

📦 安装指南

本仓库提供了与transformers库和原始llama3代码库配合使用的版本，具体使用方法见“使用示例”部分。

📚 详细文档

模型详情

预期用途

• 预期用例：Llama 3适用于英语商业和研究用途。指令调整模型适用于类似助手的聊天场景，预训练模型可用于各种自然语言生成任务。
• 超出范围：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以违反可接受使用政策和Llama 3社区许可证的方式使用。禁止在英语以外的语言中使用。

硬件和软件

预训练使用了H100 - 80GB类型的硬件，累计计算770万GPU小时（TDP为700W）。估计总排放量为2290 tCO2eq，全部由Meta的可持续发展计划抵消。

训练数据

• 概述：Llama 3在超过15万亿个公开可用的标记数据上进行预训练。微调数据包括公开可用的指令数据集以及超过1000万个手动标注的示例。预训练和微调数据集均不包含Meta用户数据。
• 数据时效性：7B模型的预训练数据截止到2023年3月，70B模型截止到2023年12月。

基准测试

本节报告了Llama 3模型在标准自动基准测试中的结果。

🔧 技术细节

• 训练因素：使用自定义训练库、Meta的研究超级集群和生产集群进行预训练。微调、标注和评估也在第三方云计算上进行。
• 碳排放：预训练过程中，使用H100 - 80GB类型的硬件，累计计算770万GPU小时（TDP为700W）。估计总排放量为2290 tCO2eq，全部由Meta的可持续发展计划抵消。

📄 许可证

模型使用自定义商业许可证，详情见：https://llama.meta.com/llama3/license。

META LLAMA 3社区许可协议

1. 许可权利和再分发

• 权利授予：您被授予在Llama材料中体现的Meta知识产权或其他Meta拥有的权利下，非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、拷贝、创建衍生作品并对Llama材料进行修改。
• 再分发和使用：
  • 如果您分发或提供Llama材料（或其任何衍生作品），或使用它们的产品或服务（包括其他AI模型），您应：
    • 随任何此类Llama材料提供本协议的副本。
    • 在相关网站、用户界面、博客文章、关于页面或产品文档上显著显示“Built with Meta Llama 3”。如果您使用Llama材料创建、训练、微调或以其他方式改进AI模型并进行分发或提供，您还应在任何此类AI模型名称开头包含“Llama 3”。
  • 如果您作为集成终端用户产品的一部分从被许可方接收Llama材料（或其任何衍生作品），则本协议第2条不适用于您。
  • 您必须在分发的所有Llama材料副本中保留以下归属声明，该声明应包含在作为此类副本一部分分发的“通知”文本文件中：“Meta Llama 3根据Meta Llama 3社区许可证授权，版权所有 © Meta Platforms, Inc. 保留所有权利。”
  • 您对Llama材料的使用必须遵守适用法律法规（包括贸易合规法律和法规），并遵守Llama材料的可接受使用政策（可在https://llama.meta.com/llama3/use-policy 找到），该政策特此通过引用并入本协议。
  • 您不得使用Llama材料或其任何输出或结果来改进任何其他大语言模型（不包括Meta Llama 3或其衍生作品）。

2. 额外商业条款

如果在Meta Llama 3版本发布日期，被许可方或其关联方提供的产品或服务的月活跃用户在前一个日历月超过7亿，则您必须向Meta请求许可，Meta可自行决定是否授予。在Meta明确授予您此类权利之前，您无权行使本协议下的任何权利。

3. 保修免责声明

除非适用法律要求，Llama材料及其任何输出和结果按“原样”提供，不提供任何形式的保证。Meta明确放弃所有明示和暗示的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的保证。您独自负责确定使用或再分发Llama材料的适当性，并承担与使用Llama材料及其任何输出和结果相关的任何风险。

4. 责任限制

在任何情况下，Meta或其关联方均不对因本协议引起的任何利润损失或任何间接、特殊、后果性、偶发性、惩戒性或惩罚性损害承担责任，无论责任理论是合同、侵权、疏忽、产品责任还是其他。即使Meta或其关联方已被告知此类损害的可能性。

5. 知识产权

• 本协议未授予商标许可，关于Llama材料，除非在描述和再分发Llama材料的合理和惯常使用中所需，或如本节5(a)所述，Meta和被许可方均不得使用对方或其关联方拥有或关联的任何名称或标记。Meta特此授予您仅为遵守第1.b.i条最后一句而使用“Llama 3”（“标记”）的许可。您将遵守Meta的品牌指南（目前可在https://about.meta.com/brand/resources/meta/company-brand/ 访问）。因您使用标记而产生的所有商誉将归Meta所有。
• 鉴于Meta对Llama材料及其衍生作品的所有权，关于您对Llama材料所做的任何衍生作品和修改，在您和Meta之间，您是并将是此类衍生作品和修改的所有者。
• 如果您对Meta或任何实体提起诉讼或其他程序（包括诉讼中的交叉索赔或反诉），声称Llama材料或Meta Llama 3的输出或结果，或其任何部分构成侵犯您拥有或可许可的知识产权或其他权利，则本协议授予您的任何许可将自提起此类诉讼或索赔之日起终止。您将赔偿并使Meta免受任何第三方因您使用或分发Llama材料而产生或与之相关的任何索赔。

6. 期限和终止

本协议的期限将在您接受本协议或访问Llama材料时开始，并将持续有效，直至根据本协议的条款和条件终止。如果您违反本协议的任何条款或条件，Meta可终止本协议。本协议终止后，您应删除并停止使用Llama材料。第3、4和7条在本协议终止后仍然有效。

7. 适用法律和管辖权

本协议将受加利福尼亚州法律管辖和解释，不考虑法律选择原则，《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州的法院对因本协议引起的任何争议具有专属管辖权。

Meta Llama 3可接受使用政策

Meta致力于促进其工具和功能（包括Meta Llama 3）的安全和公平使用。如果您访问或使用Meta Llama 3，即表示您同意本可接受使用政策（“政策”）。本政策的最新版本可在https://llama.meta.com/llama3/use-policy找到。

禁止使用情况

• 违反法律或他人权利：
  • 从事、促进、生成、促成、鼓励、策划、煽动或进一步推动非法或违法活动或内容，例如：
    • 暴力或恐怖主义
    • 对儿童的剥削或伤害，包括征集、创建、获取或传播儿童剥削内容或未报告儿童性虐待材料
    • 人口贩运、剥削和性暴力
    • 向未成年人非法分发信息或材料，包括淫秽材料，或未对此类信息或材料采用法律要求的年龄限制
    • 性引诱
    • 任何其他犯罪活动
  • 从事、促进、煽动或便利对个人或群体的骚扰、虐待、威胁或欺凌
  • 从事、促进、煽动或便利在就业、就业福利、信贷、住房、其他经济福利或其他基本商品和服务提供方面的歧视或其他非法或有害行为
  • 从事未经授权或无执照的任何专业实践，包括但不限于金融、法律、医疗/健康或相关专业实践
  • 在未获得适用法律要求的权利和同意的情况下，收集、处理、披露、生成或推断个人的健康、人口统计或其他敏感个人或私人信息
  • 从事或便利任何侵犯、挪用或以其他方式侵犯任何第三方权利的行为或生成任何内容，包括使用Llama材料的任何产品或服务的输出或结果
  • 创建、生成或便利创建恶意代码、恶意软件、计算机病毒或做任何可能禁用、使负担过重、干扰或损害网站或计算机系统的正常运行、完整性、操作或外观的事情
• 从事有死亡或身体伤害风险的活动：
  • 从事、促进、煽动、便利或协助策划或开展对个人有死亡或身体伤害风险的活动，包括与以下相关的Meta Llama 3使用：
    • 军事、战争、核工业或应用、间谍活动、用于受美国国务院维护的《国际武器贸易条例》（ITAR）管制的材料或活动
    • 枪支和非法武器（包括武器开发）
    • 非法药物和受管制/受控物质
    • 关键基础设施、运输技术或重型机械的操作
    • 自我伤害或伤害他人，包括自杀、切割和饮食失调
    • 任何旨在煽动或促进对个人的暴力、虐待或任何身体伤害的内容
• 故意欺骗或误导他人：
  • 生成、促进或进一步推动欺诈或创建或促进虚假信息
  • 生成、促进或进一步推动诽谤性内容，包括创建诽谤性声明、图像或其他内容
  • 生成、促进或进一步分发垃圾邮件
  • 在未经同意、授权或合法权利的情况下冒充他人
  • 表示使用Meta Llama 3或其输出是人类生成的
  • 生成或促进虚假的在线互动，包括虚假评论和其他虚假在线互动方式
• 未向最终用户适当披露已知危险：未能向最终用户适当披露您的AI系统的任何已知危险。

请通过以下方式报告任何违反本政策、软件“漏洞”或其他可能导致违反本政策的问题：

• 报告模型问题：https://github.com/meta-llama/llama3
• 报告模型生成的风险内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info
• 报告违反可接受使用政策或未经授权使用Meta Llama 3的情况：LlamaUseReport@meta.com

额外信息

您提供的信息将根据Meta隐私政策进行收集、存储、处理和共享。

注意事项

⚠️ 重要提示

开发者可在遵守Llama 3社区许可证和可接受使用政策的前提下，对Llama 3模型进行英语以外语言的微调。

💡 使用建议

如需提供关于模型的反馈或评论，可参考模型README。如需了解更多关于生成参数和在应用中使用Llama 3的技术信息，请访问这里。