Llama 3.1 405B FP8

🚀 Meta Llama 3.1 多語言大語言模型

Meta Llama 3.1 是一系列多語言大語言模型，涵蓋 8B、70B 和 405B 三種規格。這些模型經過預訓練和指令微調，在多語言對話場景中表現出色，在常見行業基準測試中超越了許多開源和閉源聊天模型。

🚀 快速開始

若你想了解如何使用 Llama 3.1 模型，可參考模型 README 獲取反饋或評論說明。如需更多關於生成參數和如何在應用中使用 Llama 3.1 的技術信息，請訪問 此處。

✨ 主要特性

• 多語言支持：支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語等多種語言。
• 高性能表現：在常見行業基準測試中，超越了許多開源和閉源聊天模型。
• 靈活應用：適用於商業和研究領域，可用於多種自然語言生成任務。
• 可擴展性：支持利用其模型輸出改進其他模型，包括合成數據生成和蒸餾。

📦 安裝指南

文檔未提及具體安裝步驟，可參考上述快速開始部分的鏈接獲取相關信息。

💻 使用示例

文檔未提供具體代碼示例。

📚 詳細文檔

模型信息

• 模型開發者：Meta
• 模型架構：Llama 3.1 是一種自迴歸語言模型，採用優化的 Transformer 架構。微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF），以符合人類對有用性和安全性的偏好。

預期用途

• 預期用例：Llama 3.1 適用於多語言的商業和研究用途。經過指令微調的純文本模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。Llama 3.1 模型集還支持利用其模型輸出改進其他模型，包括合成數據生成和蒸餾。Llama 3.1 社區許可證允許這些用例。
• 超出範圍的使用：以任何違反適用法律法規（包括貿易合規法律）的方式使用；以可接受使用政策和 Llama 3.1 社區許可證禁止的任何其他方式使用；在本模型卡中未明確提及支持的語言之外使用。

⚠️ 重要提示

Llama 3.1 已在比 8 種支持語言更廣泛的語言集合上進行了訓練。開發者可以對 Llama 3.1 模型進行微調，以支持 8 種支持語言之外的語言，前提是他們遵守 Llama 3.1 社區許可證和可接受使用政策，並負責確保以安全和負責任的方式使用 Llama 3.1 處理其他語言。

硬件和軟件

• 訓練因素：使用自定義訓練庫、Meta 定製的 GPU 集群和生產基礎設施進行預訓練。微調、註釋和評估也在生產基礎設施上進行。
• 訓練計算量：在 H100 - 80GB（TDP 為 700W）類型的硬件上，累計使用了 3930 萬 GPU 小時的計算資源。訓練時間是訓練每個模型所需的總 GPU 時間，功耗是使用的每個 GPU 設備的峰值功率容量，並根據功率使用效率進行了調整。
• 訓練溫室氣體排放：估計基於位置的總溫室氣體排放量為 11390 噸 CO2eq。自 2020 年以來，Meta 在其全球運營中保持了淨零溫室氣體排放，並以可再生能源匹配了 100% 的電力使用，因此基於市場的總溫室氣體排放量為 0 噸 CO2eq。

確定訓練能源使用和溫室氣體排放的方法可參考 此處。由於 Meta 正在公開發布這些模型，其他人不會產生訓練能源使用和溫室氣體排放。

訓練數據

• 概述：Llama 3.1 在約 15 萬億個公開可用來源的令牌數據上進行了預訓練。微調數據包括公開可用的指令數據集，以及超過 2500 萬個合成生成的示例。
• 數據新鮮度：預訓練數據的截止日期為 2023 年 12 月。

基準測試分數

基礎預訓練模型

指令微調模型

多語言基準測試

責任與安全

負責任的部署

Llama 是一種基礎技術，旨在用於各種用例。Meta 的 Llama 模型負責任部署的示例可在 社區故事網頁 中找到。我們的方法是構建最有用的模型，使世界能夠從技術力量中受益，通過調整模型安全性以應對通用用例中的標準危害。開發者可以根據自己的用例定製安全性，定義自己的政策，並在 Llama 系統中部署必要的保障措施。Llama 3.1 是按照我們的負責任使用指南中概述的最佳實踐開發的，你可以參考 負責任使用指南 瞭解更多信息。

Llama 3.1 指令微調

我們進行安全微調的主要目標是為研究社區提供一個有價值的資源，用於研究安全微調的魯棒性，同時為開發者提供一個現成的、安全且強大的模型，用於各種應用，以減少開發者部署安全 AI 系統的工作量。有關實施的安全緩解措施的更多詳細信息，請閱讀 Llama 3 論文。

• 微調數據：我們採用多方面的數據收集方法，將供應商提供的人類生成數據與合成數據相結合，以減輕潛在的安全風險。我們開發了許多基於大語言模型（LLM）的分類器，使我們能夠精心選擇高質量的提示和響應，加強數據質量控制。
• 拒絕和語氣：在 Llama 3 的基礎上，我們非常重視模型對良性提示的拒絕以及拒絕語氣。我們在安全數據策略中納入了邊界和對抗性提示，並修改了安全數據響應以遵循語氣指南。

Llama 3.1 系統

大型語言模型，包括 Llama 3.1，並非設計用於單獨部署，而是應作為整體 AI 系統的一部分，根據需要添加額外的安全保障措施。開發者在構建自主系統時應部署系統保障措施。保障措施對於實現正確的有用性 - 安全性對齊以及減輕系統固有的安全和風險以及模型或系統與外部工具的任何集成至關重要。

作為我們負責任發佈方法的一部分，我們為社區提供了 保障措施，開發者應將其與 Llama 模型或其他大語言模型一起部署，包括 Llama Guard 3、Prompt Guard 和 Code Shield。我們所有的 參考實現 演示默認包含這些保障措施，以便開發者可以從系統級安全中受益。

新功能

本次發佈引入了新功能，包括更長的上下文窗口、多語言輸入和輸出以及開發者可能與第三方工具的集成。使用這些新功能除了需要遵循適用於所有生成式 AI 用例的最佳實踐外，還需要進行特定的考慮。

• 工具使用：與標準軟件開發一樣，開發者負責將大語言模型與他們選擇的工具和服務進行集成。他們應該為自己的用例定義明確的政策，並評估他們使用的第三方服務的完整性，以瞭解使用此功能時的安全和風險限制。請參考負責任使用指南，瞭解第三方保障措施安全部署的最佳實踐。
• 多語言支持：Llama 3.1 除英語外還支持 7 種語言：法語、德語、印地語、意大利語、葡萄牙語、西班牙語和泰語。Llama 可能能夠輸出超出那些滿足安全和有用性性能閾值的語言的文本。我們強烈建議開發者在未根據其政策和負責任使用指南中分享的最佳實踐實施微調並進行系統控制的情況下，不要使用此模型進行不支持語言的對話。

評估

我們對 Llama 模型進行了常見用例和特定功能的評估。常見用例評估衡量了最常見構建的應用程序（包括聊天機器人、編碼助手、工具調用）系統的安全風險。我們構建了專門的對抗性評估數據集，並評估了由 Llama 模型和 Llama Guard 3 組成的系統，以過濾輸入提示和輸出響應。在上下文中評估應用程序非常重要，我們建議為你的用例構建專門的評估數據集。如果適用於應用程序，Prompt Guard 和 Code Shield 也可用。

功能評估衡量了 Llama 模型特定功能固有的漏洞，為此我們精心設計了專門的基準測試，包括長上下文、多語言、工具調用、編碼或記憶。

紅隊測試

對於這兩種情況，我們都進行了定期的紅隊測試，目標是通過對抗性提示發現風險，並利用這些經驗教訓改進我們的基準測試和安全調優數據集。

我們早期與關鍵風險領域的主題專家合作，以瞭解這些現實世界危害的性質以及此類模型如何可能對社會造成意外危害。基於這些對話，我們為紅隊制定了一組對抗性目標，例如提取有害信息或重新編程模型以潛在地造成危害。紅隊由網絡安全、對抗性機器學習、負責任 AI 和完整性方面的專家以及在特定地理市場具有完整性問題背景的多語言內容專家組成。

關鍵和其他風險

我們特別專注於減輕以下關鍵風險領域：

• CBRNE（化學、生物、放射性、核和爆炸物材料）有用性：為了評估與化學和生物武器擴散相關的風險，我們進行了提升測試，旨在評估使用 Llama 3.1 模型是否會顯著增強惡意行為者使用此類武器策劃或實施攻擊的能力。
• 兒童安全：我們使用專家團隊進行了兒童安全風險評估，以評估模型產生可能導致兒童安全風險的輸出的能力，並通過微調提供必要和適當的風險緩解建議。我們利用這些專家紅隊測試會議，在 Llama 3 模型開發過程中擴大了評估基準的覆蓋範圍。對於 Llama 3，我們使用基於目標的方法進行了新的深入會議，以評估模型在多個攻擊向量上的風險，包括 Llama 3 訓練的額外語言。我們還與內容專家合作進行紅隊測試，評估潛在違規內容，同時考慮特定市場的細微差別或經驗。
• 網絡攻擊支持：我們的網絡攻擊提升研究調查了大語言模型是否能在技能水平和速度方面增強人類在黑客任務中的能力。我們的攻擊自動化研究專注於評估大語言模型在網絡進攻行動中作為自主代理使用時的能力，特別是在勒索軟件攻擊的背景下。此評估與之前將大語言模型視為交互式助手的研究不同。主要目標是評估這些模型是否能在沒有人類干預的情況下有效地作為獨立代理執行復雜的網絡攻擊。我們對 Llama - 3.1 - 405B 對網絡攻擊者的社會工程提升的研究旨在評估 AI 模型在協助網絡威脅行為者進行魚叉式網絡釣魚活動中的有效性。請閱讀我們的 Llama 3.1 網絡安全白皮書以瞭解更多信息。

社區

生成式 AI 安全需要專業知識和工具，我們相信開放社區的力量可以加速其發展。我們是開放聯盟的積極成員，包括 AI 聯盟、AI 合作組織和 MLCommons，積極為安全標準化和透明度做出貢獻。我們鼓勵社區採用像 MLCommons 概念驗證評估這樣的分類法，以促進安全和內容評估方面的協作和透明度。我們的 Purple Llama 工具已開源供社區使用，並廣泛分發到包括雲服務提供商在內的生態系統合作伙伴中。我們鼓勵社區為我們的 GitHub 倉庫 做出貢獻。

我們還設立了 Llama 影響贈款 計劃，以識別和支持 Meta 的 Llama 模型在三個類別中的最有前景的應用：教育、氣候和開放創新。數百份申請中的 20 名決賽選手可在 此處 找到。

最後，我們建立了一套資源，包括 輸出報告機制 和 漏洞賞金計劃，以在社區的幫助下不斷改進 Llama 技術。

倫理考慮和侷限性

Llama 3.1 的核心價值觀是開放性、包容性和有用性。它旨在為每個人服務，並適用於廣泛的用例。因此，它旨在讓具有不同背景、經驗和觀點的人都能使用。Llama 3.1 以用戶的實際需求為導向，不插入不必要的判斷或規範性內容，同時認識到即使在某些情況下可能存在問題的內容，在其他情況下也可能有價值。它尊重所有用戶的尊嚴和自主權，特別是推動創新和進步的自由思想和表達價值觀。

但 Llama 3.1 是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止進行的測試尚未涵蓋，也不可能涵蓋所有場景。出於這些原因，與所有大語言模型一樣，Llama 3.1 的潛在輸出無法提前預測，模型在某些情況下可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 3.1 模型的任何應用之前，開發者應該針對其特定應用進行安全測試和調整。請參考可用資源，包括我們的 負責任使用指南、信任與安全 解決方案和其他 資源，以瞭解更多關於負責任開發的信息。

📄 許可證

Llama 3.1 採用自定義商業許可證，即 Llama 3.1 社區許可證，可在 此處 獲取。

LLAMA 3.1 社區許可協議

Llama 3.1 版本發佈日期：2024 年 7 月 23 日

“協議”指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔”指 Meta 在 https://llama.meta.com/doc/overview 上分發的 Llama 3.1 隨附的規格、手冊和文檔。

“被許可方”或“您”指您，或您的僱主或任何其他人或實體（如果您代表該人或實體簽訂本協議），且您已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表您的僱主或其他人員或實體簽訂本協議，您具有約束他們的法律權力。

“Llama 3.1”指 Meta 在 https://llama.meta.com/llama-downloads 上分發的基礎大語言模型以及軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及上述各項的其他元素。

“Llama 材料”指 Meta 根據本協議提供的專有 Llama 3.1 和文檔（及其任何部分）的統稱。

“Meta”或“我們”指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地點位於歐洲經濟區或瑞士）和 Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

1. 許可權利和再分發
   • 權利授予：您被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • 再分發和使用
     • 如果您分發或提供 Llama 材料（或其任何衍生作品），或包含其中任何內容的產品或服務（包括另一個 AI 模型），您應（A）隨任何此類 Llama 材料提供本協議的副本；（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Llama”。如果您使用 Llama 材料或 Llama 材料的任何輸出或結果來創建、訓練、微調或以其他方式改進一個 AI 模型，並將其分發或提供，您還應在任何此類 AI 模型名稱的開頭包含“Llama”。
     • 如果您作為集成最終用戶產品的一部分從被許可方處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。
     • 您必須在您分發的所有 Llama 材料副本中保留以下歸屬聲明，該聲明應包含在作為此類副本一部分分發的“Notice”文本文件中：“Llama 3.1 is licensed under the Llama 3.1 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.”
     • 您使用 Llama 材料必須遵守適用的法律法規（包括貿易合規法律法規），並遵守 Llama 材料的可接受使用政策（可在 [https://llama.meta.com/llama3_1/use - policy](https://llama.meta.com/llama3_1/use - policy) 上獲取），該政策特此通過引用併入本協議。
2. 額外商業條款：如果在 Llama 3.1 版本發佈日期，被許可方或被許可方的關聯公司提供的產品或服務在前一個日曆月的月活躍用戶數超過 7 億，則您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可，並且在 Meta 明確授予您此類權利之前，您無權行使本協議下的任何權利。
3. 免責聲明：除非適用法律要求，Llama 材料及其任何輸出和結果均按“現狀”提供，不提供任何形式的保證，Meta 明確否認所有形式的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與您使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta 或其關聯公司均不對因本協議引起的任何責任理論（無論是合同、侵權、疏忽、產品責任還是其他）承擔任何損失利潤或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害賠償責任，即使 Meta 或其關聯公司已被告知此類損害賠償的可能性。
5. 知識產權
   • 本協議未授予商標許可，並且在與 Llama 材料相關的情況下，除非為合理和慣常描述和再分發 Llama 材料所需，或如本節 5(a) 所述，Meta 和被許可方均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標記。Meta 特此授予您僅為遵守第 1.b.i 條最後一句的要求而使用“Llama”（“標記”）的許可。您將遵守 Meta 的品牌指南（目前可在 [https://about.meta.com/brand/resources/meta/company - brand/](https://about.meta.com/brand/resources/meta/company - brand/) 上獲取）。您使用標記所產生的所有商譽將歸屬於 Meta。
   • 受限於 Meta 對 Llama 材料及其為 Meta 製作的衍生作品的所有權，就您製作的 Llama 材料的任何衍生作品和修改而言，在您和 Meta 之間，您是且將是此類衍生作品和修改的所有者。
   • 如果您對 Meta 或任何實體提起訴訟或其他法律程序（包括在訴訟中的反訴或反請求），聲稱 Llama 材料或 Llama 3.1 的輸出或結果，或上述任何部分構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可應自此類訴訟或索賠提起之日起終止。您將賠償並使 Meta 免受任何第三方因您使用或分發 Llama 材料而產生或與之相關的任何索賠。
6. 期限和終止：本協議的期限將自您接受本協議或訪問 Llama 材料之日起開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 3.1 可接受使用政策

Meta 致力於促進其工具和功能（包括 Llama 3.1）的安全和公平使用。如果您訪問或使用 Llama 3.1，即表示您同意本可接受使用政策（“政策”）。本政策的最新版本可在 [https://llama.meta.com/llama3_1/use - policy](https://llama.meta.com/llama3_1/use - policy) 上找到。

禁止使用

我們希望每個人都能安全和負責任地使用 Llama 3.1。您同意您不會使用或允許他人使用 Llama 3.1 來：

1. 違反法律或他人權利，包括：
   • 從事、促進、生成、促成、鼓勵、策劃、煽動或進一步推動非法或違法活動或內容，例如：
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削性內容或未報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未對此類信息或材料採用法律要求的年齡限制
     • 性招攬
     • 任何其他犯罪活動
   • 從事、促進、煽動或促成對個人或群體的騷擾、虐待、威脅或欺凌
   • 從事、促進、煽動或促成在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
   • 從事或促成任何侵犯、挪用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
   • 創建、生成或促成惡意代碼、惡意軟件、計算機病毒的創建，或做任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常工作、完整性、操作或外觀的事情
2. 從事、促進、煽動、促成或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下相關的 Llama 3.1 使用：
   • 軍事、戰爭、核工業或應用、間諜活動、受美國國務院維護的國際武器貿易條例（ITAR）管制的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法藥物和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或傷害他人，包括自殺、自殘和飲食失調
   • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下相關的 Llama 3.1 使用：
   • 生成、促進或進一步推動欺詐或創建或促進虛假信息
   • 生成、促進或進一步推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 表示使用 Llama 3.1 或其輸出是人類生成的
   • 生成或促成虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露您的 AI 系統的任何已知危險。

請通過以下方式報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：[https://github.com/meta - llama/llama - models/issues](https://github.com/meta - llama/llama - models/issues)
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用 Meta Llama 3 的情況：LlamaUseReport@meta.com