Meta Llama 3 70B

🚀 Meta Llama 3 大語言模型

Meta Llama 3 是 Meta 開發併發布的一系列大語言模型，涵蓋 8B 和 70B 兩種參數規模的預訓練和指令微調生成式文本模型。這些模型在常見行業基準測試中表現出色，尤其適用於對話場景，同時在開發過程中高度重視模型的實用性和安全性。

🚀 快速開始

使用 Transformers 庫

>>> import transformers
>>> import torch

>>> model_id = "meta-llama/Meta-Llama-3-70B"

>>> pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
>>> pipeline("Hey how are you doing today?")

使用 llama3 代碼庫

請遵循 倉庫 中的說明。

使用以下命令下載原始檢查點：

huggingface-cli download meta-llama/Meta-Llama-3-70B --include "original/*" --local-dir Meta-Llama-3-70B

✨ 主要特性

• 多參數規模選擇：提供 8B 和 70B 兩種參數規模的模型，滿足不同應用場景的需求。
• 優化對話性能：指令微調模型針對對話場景進行了優化，在常見行業基準測試中表現優於許多開源聊天模型。
• 注重安全與實用：開發過程中高度重視模型的安全性和實用性，通過多種技術手段降低潛在風險。

📦 安裝指南

本倉庫包含兩個版本的 Meta-Llama-3-8B-Instruct，可分別與 Transformers 庫和原始 llama3 代碼庫配合使用。具體安裝和使用方法請參考上述“快速開始”部分。

💻 使用示例

基礎用法

使用 Transformers 庫進行文本生成：

>>> import transformers
>>> import torch

>>> model_id = "meta-llama/Meta-Llama-3-70B"

>>> pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
>>> pipeline("Hey how are you doing today?")

📚 詳細文檔

模型詳情

預期用途

• 預期用例：Llama 3 適用於英語商業和研究用途。指令微調模型適用於類似助手的聊天場景，預訓練模型可用於多種自然語言生成任務。
• 超出範圍的使用：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用；禁止違反可接受使用政策和 Llama 3 社區許可證的使用；禁止用於英語以外的語言。

硬件和軟件

• 訓練因素：使用自定義訓練庫、Meta 的研究超級集群和生產集群進行預訓練。微調、標註和評估也在第三方雲計算平臺上進行。
• 碳足跡：預訓練累計使用了 770 萬個 H100 - 80GB GPU 小時（TDP 為 700W）的計算資源。估計總排放量為 2290 tCO2eq，全部由 Meta 的可持續發展計劃抵消。

訓練數據

• 概述：Llama 3 在超過 15 萬億個公開數據源的標記上進行了預訓練。微調數據包括公開指令數據集和超過 1000 萬個手動標註的示例。預訓練和微調數據集均不包含 Meta 用戶數據。
• 數據新鮮度：預訓練數據的截止時間分別為 2023 年 3 月（8B 模型）和 2023 年 12 月（70B 模型）。

基準測試

基礎預訓練模型

指令微調模型

責任與安全

• 負責任的使用指南：更新了 負責任使用指南，概述了開發者在應用中實現模型和系統級安全的步驟和最佳實踐。
• 安全工具：提供了 Meta Llama Guard 2 和 Code Shield 等安全工具，可顯著降低大語言模型系統的殘留風險，同時保持高度的實用性。
• Llama 3 - Instruct：
  • 安全性：對指令微調模型進行了廣泛的紅隊測試、對抗性評估和安全緩解技術實施，以降低殘留風險。
  • 拒絕率：改進了微調過程，確保 Llama 3 比 Llama 2 更不可能錯誤地拒絕回答提示。
• 負責任的發佈：遵循嚴格的流程，在發佈前採取額外措施防止濫用和關鍵風險。
  • 濫用：使用 Llama 3 需同意 可接受使用政策。
  • 關鍵風險評估：對模型在 CBRNE（化學、生物、放射、核和高當量爆炸物）、網絡安全和兒童安全等領域進行了評估，並採取了相應的緩解措施。

社區

• 開放社區貢獻：積極參與開源聯盟，如 AI Alliance、Partnership in AI 和 MLCommons，為安全標準化和透明度做出貢獻。
• 資源提供：提供 輸出報告機制 和 漏洞賞金計劃，以藉助社區力量不斷改進 Llama 技術。

倫理考慮和侷限性

Llama 3 的核心價值觀是開放性、包容性和實用性，但作為新技術，其使用存在風險。測試主要在英語環境中進行，無法覆蓋所有場景。因此，在部署 Llama 3 模型應用之前，開發者應針對具體應用進行安全測試和調整。建議將 Purple Llama 解決方案集成到工作流程中，特別是 Llama Guard，以在模型級安全的基礎上增加系統級安全。

引用說明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

貢獻者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos

📄 許可證

Llama 3 使用自定義商業許可證，詳情請見：https://llama.meta.com/llama3/license

META LLAMA 3 社區許可協議

Meta Llama 3 版本發佈日期：2024 年 4 月 18 日

“協議”指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔”指 Meta 在 https://llama.meta.com/get-started/ 上分發的 Meta Llama 3 隨附的規格、手冊和文檔。

“被許可方”或“您”指您，或您的僱主或任何其他人或實體（如果您代表該人或實體簽訂本協議），且該人或實體已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表他們簽訂本協議，具有約束您的僱主或該其他人或實體的法律權力。

“Meta Llama 3”指 Meta 在 https://llama.meta.com/llama-downloads 上分發的基礎大語言模型以及軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及上述內容的其他元素。

“Llama 材料”指根據本協議提供的 Meta 專有的 Meta Llama 3 和文檔（及其任何部分）的統稱。

“Meta”或“我們”指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地位於歐洲經濟區或瑞士）和 Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

1. 許可權利和再分發
   • a. 權利授予。您被授予在 Llama 材料中體現的 Meta 知識產權或 Meta 擁有的其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • b. 再分發和使用
     • i. 如果您分發或提供 Llama 材料（或其任何衍生作品），或使用其中任何一種的產品或服務，包括另一個人工智能模型，您應（A）隨任何此類 Llama 材料提供本協議的副本；以及（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Meta Llama 3”。如果您使用 Llama 材料創建、訓練、微調或以其他方式改進一個人工智能模型，並進行分發或提供，您還應在任何此類人工智能模型名稱的開頭包含“Llama 3”。
     • ii. 如果您作為集成最終用戶產品的一部分從被許可方處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。
     • iii. 您必須在您分發的所有 Llama 材料副本中保留以下歸屬聲明，該聲明應包含在作為此類副本一部分分發的“Notice”文本文件中：“Meta Llama 3 is licensed under the Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.”
     • iv. 您對 Llama 材料的使用必須遵守適用的法律法規（包括貿易合規法律法規），並遵守 Llama 材料的可接受使用政策（可在 https://llama.meta.com/llama3/use-policy 上獲取），該政策特此通過引用併入本協議。
     • v. 您不得使用 Llama 材料或 Llama 材料的任何輸出或結果來改進任何其他大語言模型（不包括 Meta Llama 3 或其衍生作品）。
2. 額外商業條款。如果在 Meta Llama 3 版本發佈日期，被許可方或被許可方的關聯方提供的產品或服務在前一個日曆月的月活躍用戶超過 7 億月活躍用戶，您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可，並且在 Meta 明確授予您此類權利之前，您無權行使本協議下的任何權利。
3. 保修免責聲明。除非適用法律要求，否則 Llama 材料及其任何輸出和結果均按“現狀”提供，不提供任何形式的保證，Meta 明確否認所有形式的明示和暗示保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與您使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制。在任何情況下，Meta 或其關聯方均不對因本協議引起的任何理論下的責任負責，無論是在合同、侵權、疏忽、產品責任或其他方面，對於任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害賠償，即使 Meta 或其關聯方已被告知任何上述可能性。
5. 知識產權
   • a. 本協議未授予任何商標許可，並且與 Llama 材料相關，除非在描述和再分發 Llama 材料時進行合理和慣常使用所需，或如本節 5(a) 所述，Meta 和被許可方均不得使用對方或其任何關聯方擁有或關聯的任何名稱或標記。Meta 特此授予您僅在遵守第 1.b.i 條最後一句的要求時使用“Llama 3”（“標記”）的許可。您將遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 上獲取）。因您使用標記而產生的所有商譽將歸屬於 Meta 的利益。
   • b. 鑑於 Meta 對 Llama 材料和 Meta 或代表 Meta 製作的衍生作品的所有權，就您製作的 Llama 材料的任何衍生作品和修改而言，在您和 Meta 之間，您是且將是此類衍生作品和修改的所有者。
   • c. 如果您對 Meta 或任何實體提起訴訟或其他程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Meta Llama 3 的輸出或結果，或上述任何部分構成對您擁有或可許可的知識產權或其他權利的侵權，則本協議授予您的任何許可應自此類訴訟或索賠提起之日起終止。您將賠償並使 Meta 免受任何第三方因您使用或分發 Llama 材料而產生或與之相關的任何索賠。
6. 期限和終止。本協議的期限將自您接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權。本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Meta Llama 3 可接受使用政策

Meta 致力於促進其工具和功能（包括 Meta Llama 3）的安全和公平使用。如果您訪問或使用 Meta Llama 3，您同意本可接受使用政策（“政策”）。本政策的最新版本可在 https://llama.meta.com/llama3/use-policy 上找到。

禁止使用

我們希望每個人都能安全、負責任地使用 Meta Llama 3。您同意您不會使用或允許他人使用 Meta Llama 3 進行以下行為：

1. 違反法律或他人權利，包括
   • 參與、促進、生成、促成、鼓勵、策劃、煽動或進一步實施非法或違法活動或內容，例如
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容或未能報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未能對與此類信息或材料相關的內容採用法律要求的年齡限制
     • 性招攬
     • 任何其他犯罪活動
   • 參與、促進、煽動或便利對個人或個人群體的騷擾、虐待、威脅或欺凌
   • 參與、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟利益或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷有關個人的健康、人口統計或其他敏感個人或私人信息
   • 參與或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
   • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒或進行任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的其他操作
2. 參與、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的 Meta Llama 3 的使用
   • 軍事、戰爭、核工業或應用、間諜活動、用於受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法毒品和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或對他人的傷害，包括自殺、切割和飲食失調
   • 任何旨在煽動或促進對個人的暴力、虐待或任何身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下方面相關的 Meta Llama 3 的使用
   • 生成、促進或進一步實施欺詐或創建或促進虛假信息
   • 生成、促進或進一步傳播誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 表示使用 Meta Llama 3 或其輸出是人類生成的
   • 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露您的人工智能系統的任何已知危險

請通過以下方式之一報告本政策的任何違反行為、軟件“漏洞”或其他可能導致違反本政策的問題： - 報告模型問題：https://github.com/meta-llama/llama3 - 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback - 報告漏洞和安全問題：facebook.com/whitehat/info - 報告可接受使用政策的違反行為或未經授權使用 Meta Llama 3：LlamaUseReport@meta.com

額外門控字段

通過點擊下方的“提交”，我接受許可協議的條款，並確認我提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享。

額外門控描述

您提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享。

額外門控按鈕內容

提交

⚠️ 重要提示

開發者在使用 Llama 3 時，需嚴格遵守可接受使用政策和 Llama 3 社區許可證。同時，由於模型的潛在輸出無法提前預測，可能會產生不準確、有偏差或其他令人反感的響應，因此在部署應用前應進行針對性的安全測試和調整。

💡 使用建議

建議開發者將 Purple Llama 解決方案集成到工作流程中，特別是 Llama Guard，以增強系統的安全性。此外，開發者可根據自身需求調整和部署 Meta Llama Guard 2 和 Code Shield 等安全工具。