Llama 3.1 405B

🚀 Meta Llama 3.1 多语言大语言模型

Meta Llama 3.1 是一系列多语言大语言模型，提供 8B、70B 和 405B 三种不同规模的预训练和指令调优生成模型。这些模型在多语言对话场景中表现出色，在行业通用基准测试中超越了许多开源和闭源的聊天模型。

🚀 快速开始

若您想了解如何使用 Llama 3.1 模型，可参考模型 README 中的反馈或评论说明。如需获取更多关于生成参数和在应用中使用 Llama 3.1 的技术信息，请访问 此处。

✨ 主要特性

• 多语言支持：支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多种语言。
• 高性能表现：在多语言对话场景中表现出色，在行业通用基准测试中超越了许多开源和闭源的聊天模型。
• 灵活应用：适用于商业和研究领域，可用于多种自然语言生成任务，如对话、文本生成等。

📦 安装指南

文档未提供具体安装步骤，可参考相关官方文档或社区资源进行安装。

💻 使用示例

文档未提供具体代码示例，可参考相关官方文档或社区资源获取使用示例。

📚 详细文档

模型信息

• 模型开发者：Meta
• 模型架构：Llama 3.1 是一种自回归语言模型，采用优化的 Transformer 架构。调优版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF），以符合人类对有用性和安全性的偏好。

预期用途

• 预期用例：Llama 3.1 适用于多种语言的商业和研究用途。指令调优的纯文本模型适用于类似助手的聊天场景，而预训练模型可用于各种自然语言生成任务。Llama 3.1 模型系列还支持利用其模型输出改进其他模型，包括合成数据生成和蒸馏。
• 超出范围的使用：禁止以任何违反适用法律法规（包括贸易合规法律）的方式使用。禁止以《可接受使用政策》和《Llama 3.1 社区许可协议》禁止的其他方式使用。禁止在本模型卡片明确支持的语言之外的语言中使用。

硬件和软件

• 训练因素：使用自定义训练库、Meta 定制的 GPU 集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。
• 训练能耗和温室气体排放：训练使用了 H100 - 80GB（TDP 为 700W）类型的硬件，累计计算 3930 万 GPU 小时。训练的估计总基于位置的温室气体排放量为 11390 吨 CO2eq。自 2020 年以来，Meta 在全球运营中保持净零温室气体排放，并以可再生能源匹配 100% 的电力使用，因此训练的总基于市场的温室气体排放量为 0 吨 CO2eq。

训练数据

• 概述：Llama 3.1 在来自公开可用来源的约 15 万亿个标记的数据上进行预训练。微调数据包括公开可用的指令数据集，以及超过 2500 万个合成生成的示例。
• 数据新鲜度：预训练数据的截止日期为 2023 年 12 月。

基准测试分数

文档提供了 Llama 3.1 模型在标准自动基准测试中的结果，包括基础预训练模型和指令调优模型的测试结果，以及多语言基准测试结果。

责任与安全

• 负责任的发布策略：采用三管齐下的策略管理信任和安全风险，包括使开发者能够为目标受众和 Llama 支持的用例部署有用、安全和灵活的体验；保护开发者免受旨在利用 Llama 功能造成潜在危害的恶意用户的侵害；为社区提供保护，防止模型被滥用。
• 负责任的部署：Llama 是一种基础技术，应作为整体 AI 系统的一部分部署，并根据需要添加额外的安全护栏。开发者在构建代理系统时应部署系统保护措施。
• 评估：对 Llama 模型进行了常见用例和特定功能的评估，包括安全风险评估和能力评估。通过红队测试发现风险，并改进基准测试和安全调优数据集。
• 关键和其他风险：重点关注减轻化学、生物、放射、核和爆炸材料（CBRNE）有用性、儿童安全和网络攻击启用等关键风险领域。

伦理考虑和限制

Llama 3.1 的核心价值观是开放性、包容性和有用性，但作为一种新技术，其使用存在风险。模型可能会产生不准确、有偏见或其他令人反感的响应，因此开发者在部署应用前应进行安全测试和调优。

🔧 技术细节

模型架构

Llama 3.1 是一种自回归语言模型，采用优化的 Transformer 架构。调优版本使用监督微调（SFT）和基于人类反馈的强化学习（RLHF），以符合人类对有用性和安全性的偏好。

训练数据

• 预训练数据：来自公开可用来源的约 15 万亿个标记的数据。
• 微调数据：包括公开可用的指令数据集，以及超过 2500 万个合成生成的示例。

训练过程

• 预训练：使用自定义训练库、Meta 定制的 GPU 集群和生产基础设施进行预训练。
• 微调：在生产基础设施上进行微调、标注和评估。

安全调优

• 数据收集：采用多方面的数据收集方法，结合供应商提供的人类生成数据和合成数据，以减轻潜在的安全风险。
• 模型拒绝和语气：强调模型对良性提示的拒绝以及拒绝语气，在安全数据策略中包括边界和对抗性提示，并修改安全数据响应以遵循语气指南。

📄 许可证

Llama 3.1 采用自定义商业许可证，即 Llama 3.1 社区许可证，可在 此处 获取。

⚠️ 重要提示

Llama 3.1 模型的使用必须遵守适用的法律法规和《可接受使用政策》，禁止以任何违反法律或政策的方式使用。

💡 使用建议

在使用 Llama 3.1 模型之前，请仔细阅读《Llama 3.1 社区许可协议》和《可接受使用政策》，确保您的使用符合相关规定。同时，建议开发者在部署应用前进行充分的安全测试和调优，以确保模型的安全和可靠性。