Llama 3.3 70B Instruct FP8 Dynamic

🚀 Llama 3.3 多语言大语言模型

Llama 3.3 是 Meta 推出的多语言大语言模型，具备 70B 参数，经过预训练和指令调优，在多语言对话场景表现出色，能在常见行业基准测试中超越许多开源和闭源聊天模型。

🚀 快速开始

本仓库包含两个版本的 Llama-3.3-70B-Instruct，可用于 transformers 库和原始 llama 代码库。

使用 transformers 库

从 transformers >= 4.43.0 版本开始，你可以使用 Transformers 的 pipeline 抽象或借助 Auto 类的 generate() 函数进行对话推理。

请确保通过 pip install --upgrade transformers 更新你的 transformers 库。

以下是使用 Transformers 的代码片段：

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

使用 transformers 库调用工具

LLaMA-3.3 支持多种工具使用格式。你可以在此处查看完整的提示格式化指南。

在 Transformers 中，也可以通过聊天模板来支持工具使用。 以下是一个简单工具的快速示例：

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location

✨ 主要特性

• 多语言支持：支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多种语言。
• 高性能表现：在多语言对话场景中表现出色，在常见行业基准测试中超越许多开源和闭源聊天模型。
• 工具使用支持：支持多种工具使用格式，可通过聊天模板调用工具。

📦 安装指南

使用前请确保通过 pip install --upgrade transformers 更新你的 transformers 库。

💻 使用示例

基础用法

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高级用法

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location

📚 详细文档

模型信息

• 模型开发者：Meta
• 模型架构：Llama 3.3 是一种自回归语言模型，采用优化的 Transformer 架构。调优版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF）来符合人类对有用性和安全性的偏好。

预期用途

• 预期用例：Llama 3.3 旨在用于多种语言的商业和研究用途。仅经过指令调优的文本模型适用于类似助手的聊天，而预训练模型可用于各种自然语言生成任务。Llama 3.3 模型还支持利用其模型输出改进其他模型，包括合成数据生成和蒸馏。Llama 3.3 社区许可允许这些用例。
• 超出范围的使用：以任何违反适用法律法规（包括贸易合规法律）的方式使用；以可接受使用政策和 Llama 3.3 社区许可禁止的任何其他方式使用；在本模型卡片中未明确提及支持的语言中使用。

许可证

自定义商业许可证，即 Llama 3.3 社区许可协议，可在此处获取。

反馈与技术信息

关于模型的问题或评论可在模型README中找到提供反馈或评论的说明。有关生成参数和如何在应用程序中使用 Llama 3.3 的技术信息，请访问此处。

额外信息

额外的许可提示

### LLAMA 3.3 社区许可协议
Llama 3.3 版本发布日期：2024 年 12 月 6 日
“协议”指本协议中规定的使用、复制、分发和修改 Llama 材料的条款和条件。
“文档”指 Meta 在 [https://www.llama.com/docs/overview](https://llama.com/docs/overview) 上分发的与 Llama 3.3 相关的规范、手册和文档。
“被许可方”或“您”指您，或您的雇主，或任何其他个人或实体（如果您代表该个人或实体签订本协议），且该个人或实体已达到适用法律、规则或法规要求的提供合法同意的年龄，并且如果您代表他们签订本协议，具有约束您的雇主或该其他个人或实体的合法权力。
“Llama 3.3”指 Meta 在 [https://www.llama.com/llama-downloads](https://www.llama.com/llama-downloads) 上分发的基础大语言模型、软件和算法，包括机器学习模型代码、训练好的模型权重、推理启用代码、训练启用代码、微调启用代码以及上述内容的其他元素。
“Llama 材料”指根据本协议提供的 Meta 专有的 Llama 3.3 和文档（及其任何部分）的统称。
“Meta”或“我们”指 Meta Platforms Ireland Limited（如果您位于欧洲经济区或瑞士，或者如果您是一个实体，您的主要营业地位于欧洲经济区或瑞士）和 Meta Platforms, Inc.（如果您位于欧洲经济区或瑞士以外）。
通过点击下面的“我接受”，或使用或分发 Llama 材料的任何部分或元素，您同意受本协议约束。
1. 许可权利和再分发。
a. 权利授予。您被授予在 Meta 体现在 Llama 材料中的知识产权或其他权利下的非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、拷贝、创作衍生作品并对 Llama 材料进行修改。
b. 再分发和使用。
i. 如果您分发或提供 Llama 材料（或其任何衍生作品），或包含其中任何内容的产品或服务（包括另一个 AI 模型），您应（A）随任何此类 Llama 材料提供本协议的副本；并且（B）在相关网站、用户界面、博客文章、关于页面或产品文档上显著显示“Built with Llama”。如果您使用 Llama 材料或 Llama 材料的任何输出或结果来创建、训练、微调或以其他方式改进一个 AI 模型，并进行分发或提供该模型，您还应在任何此类 AI 模型名称的开头包含“Llama”。
ii. 如果您作为集成最终用户产品的一部分从被许可方处接收 Llama 材料或其任何衍生作品，则本协议第 2 条不适用于您。
iii. 您必须在您分发的所有 Llama 材料副本中，在作为此类副本一部分分发的“Notice”文本文件中保留以下归属声明：“Llama 3.3 已根据 Llama 3.3 社区许可获得许可，版权所有 © Meta Platforms, Inc. 保留所有权利。”
iv. 您对 Llama 材料的使用必须符合适用法律法规（包括贸易合规法律法规），并遵守 Llama 材料的可接受使用政策（可在 [https://www.llama.com/llama3\_3/use-policy](https://www.llama.com/llama3_3/use-policy) 上获取），该政策特此通过引用并入本协议。
2. 额外的商业条款。如果在 Llama 3.3 版本发布日期，被许可方或被许可方关联方提供的产品或服务的月活跃用户在前一个日历月超过 7 亿，您必须向 Meta 请求许可，Meta 可自行决定是否授予您许可，并且在 Meta 明确授予您此类权利之前，您无权行使本协议下的任何权利。
3. 保修免责声明。除非适用法律要求，否则 Llama 材料及其任何输出和结果按“现状”提供，不提供任何形式的保证，并且 Meta 免除所有形式的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的任何保证。您独自负责确定使用或再分发 Llama 材料的适当性，并承担与您使用 Llama 材料及其任何输出和结果相关的任何风险。
4. 责任限制。在任何情况下，Meta 或其关联方均不对因本协议引起的任何利润损失或任何间接、特殊、后果性、偶发性、惩戒性或惩罚性损害承担责任，无论责任理论如何，即使 Meta 或其关联方已被告知此类损害的可能性。
5. 知识产权。
a. 本协议未授予任何商标许可，并且关于 Llama 材料，除非在描述和再分发 Llama 材料时合理和惯常使用所需，或如本节 5(a) 所述，Meta 和被许可方均不得使用对方或其任何关联方拥有或关联的任何名称或标记。Meta 特此授予您仅为遵守第 1.b.i 条最后一句的要求而使用“Llama”（“标记”）的许可。您将遵守 Meta 的品牌指南（目前可在 [https://about.meta.com/brand/resources/meta/company-brand/](https://about.meta.com/brand/resources/meta/company-brand/)[)](https://en.facebookbrand.com/) 上获取）。因您使用标记而产生的所有商誉将归属于 Meta 的利益。
b. 鉴于 Meta 对 Llama 材料及其为 Meta 制作的衍生作品的所有权，关于您制作的 Llama 材料的任何衍生作品和修改，在您和 Meta 之间，您是且将是此类衍生作品和修改的所有者。
c. 如果您对 Meta 或任何实体提起诉讼或其他程序（包括在诉讼中的交叉索赔或反诉），声称 Llama 材料或 Llama 3.3 的输出或结果，或上述任何内容的任何部分，构成侵犯您拥有或可许可的知识产权或其他权利，则本协议授予您的任何许可将自此类诉讼或索赔提起之日起终止。您将赔偿并使 Meta 免受任何第三方因您使用或分发 Llama 材料而产生或与之相关的任何索赔。
6. 期限和终止。本协议的期限将自您接受本协议或访问 Llama 材料时开始，并将持续有效，直至根据本协议的条款和条件终止。如果您违反本协议的任何条款或条件，Meta 可终止本协议。本协议终止后，您应删除并停止使用 Llama 材料。第 3、4 和 7 条在本协议终止后仍然有效。
7. 适用法律和管辖权。本协议将受加利福尼亚州法律管辖并依其解释，不考虑法律选择原则，并且《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州的法院对因本协议产生的任何争议具有专属管辖权。
### Llama 3.3 可接受使用政策
Meta 致力于促进其工具和功能（包括 Llama 3.3）的安全和公平使用。如果您访问或使用 Llama 3.3，您同意本可接受使用政策（“**政策**”）。本政策的最新版本可在 [https://www.llama.com/llama3\_3/use-policy](https://www.llama.com/llama3_3/use-policy) 上找到。
禁止使用
我们希望每个人都能安全、负责任地使用 Llama 3.3。您同意您不会使用或允许他人使用 Llama 3.3 来：
1. 违反法律或他人权利，包括：
   1. 从事、促进、生成、促成、鼓励、计划、煽动或进一步推动非法或违法活动或内容，例如：
      1. 暴力或恐怖主义
      2. 对儿童的剥削或伤害，包括招揽、创作、获取或传播儿童剥削内容或未能报告儿童性虐待材料
      3. 人口贩运、剥削和性暴力
      4. 向未成年人非法分发信息或材料，包括淫秽材料，或未能对此类信息或材料采用法律要求的年龄限制
      5. 性招揽
      6. 任何其他犯罪活动
   2. 从事、促进、煽动或便利对个人或个人群体的骚扰、虐待、威胁或欺凌
   3. 从事、促进、煽动或便利在就业、就业福利、信贷、住房、其他经济福利或其他基本商品和服务的提供方面的歧视或其他非法或有害行为
   4. 从事未经授权或无执照的任何职业实践，包括但不限于金融、法律、医疗/健康或相关专业实践
   5. 收集、处理、披露、生成或推断个人的私人或敏感信息，包括个人身份、健康或人口统计信息，除非您已根据适用法律获得这样做的权利
   6. 从事或便利任何侵犯、盗用或以其他方式侵犯任何第三方权利的行为或生成任何内容，包括使用 Llama 材料的任何产品或服务的输出或结果
   7. 创建、生成或便利创建恶意代码、恶意软件、计算机病毒或做任何可能禁用、负担过重、干扰或损害网站或计算机系统的正常运行、完整性、操作或外观的事情
   8. 从事任何行动或便利任何行动，故意规避或移除使用限制或其他安全措施，或启用 Meta 禁用的功能
2. 从事、促进、煽动、便利或协助规划或开展对个人造成死亡或身体伤害风险的活动，包括与以下相关的 Llama 3.3 使用：
   1. 军事、战争、核工业或应用、间谍活动、用于受美国国务院维护的《国际武器贸易条例》（ITAR）或 1989 年《美国生物武器反恐法》或 1997 年《化学武器公约实施法》约束的材料或活动
   2. 枪支和非法武器（包括武器开发）
   3. 非法药物和受管制/受控物质
   4. 关键基础设施、运输技术或重型机械的操作
   5. 自我伤害或伤害他人，包括自杀、切割和饮食失调
   6. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容
3. 故意欺骗或误导他人，包括与以下相关的 Llama 3.3 使用：
   1. 生成、促进或进一步推动欺诈或虚假信息的创建或推广
   2. 生成、促进或进一步推动诽谤性内容，包括创建诽谤性声明、图像或其他内容
   3. 生成、促进或进一步分发垃圾邮件
   4. 在未经同意、授权或合法权利的情况下冒充他人
   5. 表示 Llama 3.3 的使用或输出是人类生成的
   6. 生成或便利虚假的在线互动，包括虚假评论和其他虚假在线互动方式
4. 未能向最终用户适当披露您的 AI 系统的任何已知危险
5. 与旨在生成非法内容或从事非法或有害行为的第三方工具、模型或软件进行交互，和/或表示此类工具、模型或软件的输出与 Meta 或 Llama 3.3 相关联
关于 Llama 3.3 中包含的任何多模态模型，如果您是居住在欧盟的个人或主要营业地在欧盟的公司，则 Llama 3.3 社区许可协议第 1(a) 条下授予的权利不会授予您。此限制不适用于包含任何此类多模态模型的产品或服务的最终用户。
请通过以下方式之一报告本政策的任何违反行为、软件“漏洞”或其他可能导致违反本政策的问题：
* 报告模型问题：[https://github.com/meta-llama/llama-models/issues](https://l.workplace.com/l.php?u=https%3A%2F%2Fgithub.com%2Fmeta-llama%2Fllama-models%2Fissues&h=AT0qV8W9BFT6NwihiOHRuKYQM_UnkzN_NmHMy91OT55gkLpgi4kQupHUl0ssR4dQsIQ8n3tfd0vtkobvsEvt1l4Ic6GXI2EeuHV8N08OG2WnbAmm0FL4ObkazC6G_256vN0lN9DsykCvCqGZ)
* 报告模型生成的风险内容：[developers.facebook.com/llama\_output\_feedback](http://developers.facebook.com/llama_output_feedback)
* 报告漏洞和安全问题：[facebook.com/whitehat/info](http://facebook.com/whitehat/info)
* 报告可接受使用政策的违反行为或 Llama 3.3 的未经授权使用：LlamaUseReport@meta.com

额外的表单字段

额外的表单描述

您提供的信息将根据 Meta 隐私政策 进行收集、存储、处理和共享。

额外的表单按钮内容

提交

🔧 技术细节

Llama 3.3 是一种自回归语言模型，采用优化的 Transformer 架构。调优版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF）来符合人类对有用性和安全性的偏好。所有模型版本都使用分组查询注意力（GQA）来提高推理可扩展性。

📄 许可证

自定义商业许可证，即 Llama 3.3 社区许可协议，可在此处获取。