Meta Llama 3 70B Instruct

🚀 Meta Llama 3大語言模型

Meta Llama 3是Meta開發併發布的一系列大語言模型（LLMs），包含80億和700億參數兩種規格的預訓練和指令微調生成式文本模型。這些模型經過優化，適用於對話場景，在常見行業基準測試中表現出色，同時注重提升模型的實用性和安全性。

🚀 快速開始

使用transformers庫

以下是使用Transformers庫調用Meta Llama 3模型的示例代碼：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

使用原始llama3代碼庫

請參考倉庫中的說明進行操作。 若要下載原始檢查點，可使用以下huggingface-cli命令：

huggingface-cli download meta-llama/Meta-Llama-3-70B-Instruct --include "original/*" --local-dir Meta-Llama-3-70B-Instruct

✨ 主要特性

• 多規格選擇：Llama 3有80億和700億參數兩種規格的預訓練和指令微調版本。
• 對話優化：指令微調模型針對對話場景進行了優化，在常見行業基準測試中表現優於許多開源聊天模型。
• 注重安全：在開發過程中，充分考慮了模型的實用性和安全性。

📦 安裝指南

本倉庫包含兩個版本的Meta-Llama-3-70B-Instruct，可分別與transformers庫和原始llama3代碼庫配合使用。具體安裝和使用方法請參考上述“快速開始”部分。

💻 使用示例

基礎用法

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

📚 詳細文檔

模型詳情

預期用途

• 預期用例：Llama 3旨在用於英語的商業和研究用途。指令微調模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。
• 超出範圍的使用：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用。禁止以《可接受使用政策》和《Llama 3社區許可證》禁止的任何其他方式使用。禁止在英語以外的語言中使用。

⚠️ 重要提示

開發者可以在遵守《Llama 3社區許可證》和《可接受使用政策》的前提下，對Llama 3模型進行微調以支持英語以外的語言。

基準測試

基礎預訓練模型

指令微調模型

責任與安全

作為Llama 3發佈的一部分，我們更新了《負責任使用指南》，概述了開發者為其應用實施模型和系統級安全的步驟和最佳實踐。我們還提供了一系列資源，包括Meta Llama Guard 2和Code Shield防護措施。這些工具已被證明能大幅降低大語言模型系統的殘餘風險，同時保持較高的實用性。我們鼓勵開發者根據自身需求調整和部署這些防護措施，並提供了參考實現供您參考。

Llama 3-Instruct

• 安全性：對於指令微調模型，我們進行了廣泛的紅隊測試、對抗性評估，並實施了安全緩解技術以降低殘餘風險。與任何大語言模型一樣，殘餘風險可能仍然存在，我們建議開發者在其用例的背景下評估這些風險。同時，我們正在與社區合作，使人工智能安全基準標準更加透明、嚴格和可解釋。
• 拒絕回覆：除了殘餘風險，我們還非常重視模型對良性提示的拒絕回覆問題。過度拒絕不僅會影響用戶體驗，在某些情況下甚至可能有害。我們聽取了開發者社區的反饋，改進了微調過程，確保Llama 3比Llama 2更不可能錯誤地拒絕回答提示。

負責任的發佈

• 濫用：如果您訪問或使用Llama 3，即表示您同意《可接受使用政策》。該政策的最新版本可在此處查看。
• 關鍵風險
  • CBRNE（化學、生物、放射、核和高當量爆炸物）：我們對模型在這方面的安全性進行了雙重評估：在模型訓練期間進行迭代測試，以評估與CBRNE威脅和其他對抗性風險相關的回覆安全性；邀請外部CBRNE專家進行提升測試，評估模型準確提供專家知識並減少潛在CBRNE濫用障礙的能力，參考不使用該模型時通過網絡搜索所能達到的效果。
  • 網絡安全：我們使用Meta的網絡安全評估套件CyberSecEval對Llama 3進行了評估，衡量Llama 3作為編碼助手時建議不安全代碼的傾向，以及Llama 3響應協助進行網絡攻擊請求的傾向（攻擊定義參照行業標準MITRE ATT&CK網絡攻擊本體）。在不安全編碼和協助網絡攻擊方面的測試中，Llama 3的表現與具有同等編碼能力的模型相當或更安全。
  • 兒童安全：我們組建了專家團隊進行兒童安全風險評估，以評估模型產生可能導致兒童安全風險的輸出的能力，並通過微調提供必要和適當的風險緩解建議。我們利用這些專家紅隊測試擴展了評估基準的覆蓋範圍。對於Llama 3，我們採用基於目標的方法進行了新的深入測試，以評估模型在多種攻擊向量下的風險。我們還與內容專家合作進行紅隊測試，評估可能違反規定的內容，同時考慮特定市場的細微差別和經驗。

倫理考量與侷限性

Llama 3是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止的測試均使用英語進行，且無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 3的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的回覆。因此，在部署Llama 3模型的任何應用之前，開發者應針對其特定應用進行安全測試和調整。如《負責任使用指南》所述，我們建議將Purple Llama解決方案納入您的工作流程，特別是Llama Guard，它提供了一個基礎模型，用於過濾輸入和輸出提示，在模型級安全的基礎上增加系統級安全。

請參閱《負責任使用指南》。

引用說明

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

貢獻者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos

📄 許可證

可在此處獲取自定義商業許可證。