Llama 3.1 405B

🚀 Meta Llama 3.1 多語言大語言模型

Meta Llama 3.1 是一系列多語言大語言模型，提供 8B、70B 和 405B 三種不同規模的預訓練和指令調優生成模型。這些模型在多語言對話場景中表現出色，在行業通用基準測試中超越了許多開源和閉源的聊天模型。

🚀 快速開始

若您想了解如何使用 Llama 3.1 模型，可參考模型 README 中的反饋或評論說明。如需獲取更多關於生成參數和在應用中使用 Llama 3.1 的技術信息，請訪問 此處。

✨ 主要特性

• 多語言支持：支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語等多種語言。
• 高性能表現：在多語言對話場景中表現出色，在行業通用基準測試中超越了許多開源和閉源的聊天模型。
• 靈活應用：適用於商業和研究領域，可用於多種自然語言生成任務，如對話、文本生成等。

📦 安裝指南

文檔未提供具體安裝步驟，可參考相關官方文檔或社區資源進行安裝。

💻 使用示例

文檔未提供具體代碼示例，可參考相關官方文檔或社區資源獲取使用示例。

📚 詳細文檔

模型信息

• 模型開發者：Meta
• 模型架構：Llama 3.1 是一種自迴歸語言模型，採用優化的 Transformer 架構。調優版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF），以符合人類對有用性和安全性的偏好。

預期用途

• 預期用例：Llama 3.1 適用於多種語言的商業和研究用途。指令調優的純文本模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。Llama 3.1 模型系列還支持利用其模型輸出改進其他模型，包括合成數據生成和蒸餾。
• 超出範圍的使用：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用。禁止以《可接受使用政策》和《Llama 3.1 社區許可協議》禁止的其他方式使用。禁止在本模型卡片明確支持的語言之外的語言中使用。

硬件和軟件

• 訓練因素：使用自定義訓練庫、Meta 定製的 GPU 集群和生產基礎設施進行預訓練。微調、標註和評估也在生產基礎設施上進行。
• 訓練能耗和溫室氣體排放：訓練使用了 H100 - 80GB（TDP 為 700W）類型的硬件，累計計算 3930 萬 GPU 小時。訓練的估計總基於位置的溫室氣體排放量為 11390 噸 CO2eq。自 2020 年以來，Meta 在全球運營中保持淨零溫室氣體排放，並以可再生能源匹配 100% 的電力使用，因此訓練的總基於市場的溫室氣體排放量為 0 噸 CO2eq。

訓練數據

• 概述：Llama 3.1 在來自公開可用來源的約 15 萬億個標記的數據上進行預訓練。微調數據包括公開可用的指令數據集，以及超過 2500 萬個合成生成的示例。
• 數據新鮮度：預訓練數據的截止日期為 2023 年 12 月。

基準測試分數

文檔提供了 Llama 3.1 模型在標準自動基準測試中的結果，包括基礎預訓練模型和指令調優模型的測試結果，以及多語言基準測試結果。

責任與安全

• 負責任的發佈策略：採用三管齊下的策略管理信任和安全風險，包括使開發者能夠為目標受眾和 Llama 支持的用例部署有用、安全和靈活的體驗；保護開發者免受旨在利用 Llama 功能造成潛在危害的惡意用戶的侵害；為社區提供保護，防止模型被濫用。
• 負責任的部署：Llama 是一種基礎技術，應作為整體 AI 系統的一部分部署，並根據需要添加額外的安全護欄。開發者在構建代理系統時應部署系統保護措施。
• 評估：對 Llama 模型進行了常見用例和特定功能的評估，包括安全風險評估和能力評估。通過紅隊測試發現風險，並改進基準測試和安全調優數據集。
• 關鍵和其他風險：重點關注減輕化學、生物、放射、核和爆炸材料（CBRNE）有用性、兒童安全和網絡攻擊啟用等關鍵風險領域。

倫理考慮和限制

Llama 3.1 的核心價值觀是開放性、包容性和有用性，但作為一種新技術，其使用存在風險。模型可能會產生不準確、有偏見或其他令人反感的響應，因此開發者在部署應用前應進行安全測試和調優。

🔧 技術細節

模型架構

Llama 3.1 是一種自迴歸語言模型，採用優化的 Transformer 架構。調優版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF），以符合人類對有用性和安全性的偏好。

訓練數據

• 預訓練數據：來自公開可用來源的約 15 萬億個標記的數據。
• 微調數據：包括公開可用的指令數據集，以及超過 2500 萬個合成生成的示例。

訓練過程

• 預訓練：使用自定義訓練庫、Meta 定製的 GPU 集群和生產基礎設施進行預訓練。
• 微調：在生產基礎設施上進行微調、標註和評估。

安全調優

• 數據收集：採用多方面的數據收集方法，結合供應商提供的人類生成數據和合成數據，以減輕潛在的安全風險。
• 模型拒絕和語氣：強調模型對良性提示的拒絕以及拒絕語氣，在安全數據策略中包括邊界和對抗性提示，並修改安全數據響應以遵循語氣指南。

📄 許可證

Llama 3.1 採用自定義商業許可證，即 Llama 3.1 社區許可證，可在 此處 獲取。

⚠️ 重要提示

Llama 3.1 模型的使用必須遵守適用的法律法規和《可接受使用政策》，禁止以任何違反法律或政策的方式使用。

💡 使用建議

在使用 Llama 3.1 模型之前，請仔細閱讀《Llama 3.1 社區許可協議》和《可接受使用政策》，確保您的使用符合相關規定。同時，建議開發者在部署應用前進行充分的安全測試和調優，以確保模型的安全和可靠性。