Llama 2 70b Hf

🚀 Llama 2

Llama 2 是一系列預訓練和微調的生成式文本模型，參數規模從 70 億到 700 億不等。本倉庫為 70B 預訓練模型，已轉換為 Hugging Face Transformers 格式。其他模型的鏈接可在底部索引中找到。

🚀 快速開始

使用本模型需遵守 Meta 的許可協議。若要下載模型權重和分詞器，請訪問 網站，接受許可協議後再在此處申請訪問。

✨ 主要特性

• 參數規模多樣：Llama 2 有 7B、13B 和 70B 等不同參數規模的版本，還有預訓練和微調等不同變體。
• 優化對話場景：微調後的 Llama-2-Chat 模型針對對話場景進行了優化，在大多數測試基準上優於開源聊天模型，在有用性和安全性的人工評估中，與 ChatGPT 和 PaLM 等流行的閉源模型相當。
• 先進架構：採用優化的變壓器架構，微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF）來符合人類對有用性和安全性的偏好。

📚 詳細文檔

模型詳情

• 模型開發者：Meta
• 輸入：僅接受文本輸入。
• 輸出：僅生成文本。
• 模型架構：Llama 2 是一種自迴歸語言模型，使用優化的變壓器架構。微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF）來符合人類對有用性和安全性的偏好。
• 模型日期：Llama 2 於 2023 年 1 月至 2023 年 7 月期間進行訓練。
• 狀態：這是一個在離線數據集上訓練的靜態模型。隨著我們根據社區反饋改進模型安全性，未來將發佈微調模型的新版本。
• 許可證：可在 此處 獲取自定義商業許可證。
• 研究論文："Llama-2: Open Foundation and Fine-tuned Chat Models"

預期用途

• 預期用例：Llama 2 旨在用於英語的商業和研究用途。微調模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。若要獲得聊天版本的預期特性和性能，需要遵循特定的格式，包括 INST 和 <<SYS>> 標籤、BOS 和 EOS 標記，以及它們之間的空格和換行符（建議對輸入調用 strip() 以避免雙空格）。詳情請參閱 GitHub 上的參考代碼：chat_completion。
• 超出範圍的用途：以任何違反適用法律法規（包括貿易合規法律）的方式使用；使用英語以外的語言；以 Llama 2 可接受使用政策和許可協議禁止的任何其他方式使用。

硬件和軟件

• 訓練因素：預訓練使用了自定義訓練庫、Meta 的研究超級集群和生產集群。微調、標註和評估也在第三方雲計算平臺上進行。
• 碳足跡：預訓練在 A100 - 80GB 類型的硬件上累計使用了 330 萬 GPU 小時的計算資源（TDP 為 350 - 400W）。估計總排放量為 539 tCO2eq，其中 100% 由 Meta 的可持續發展計劃抵消。

訓練數據

• 概述：Llama 2 在來自公開可用來源的 2 萬億個標記的數據上進行預訓練。微調數據包括公開可用的指令數據集以及超過 100 萬個新的人工標註示例。預訓練和微調數據集均不包含 Meta 用戶數據。
• 數據新鮮度：預訓練數據截止到 2022 年 9 月，但部分微調數據更新至 2023 年 7 月。

評估結果

在本節中，我們報告了 Llama 1 和 Llama 2 模型在標準學術基準上的評估結果。所有評估均使用內部評估庫進行。

倫理考量與侷限性

Llama 2 是一項新技術，使用時存在風險。到目前為止的測試均使用英語進行，且無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 2 的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的回覆。因此，在部署 Llama 2 的任何應用程序之前，開發人員應針對模型的特定應用進行安全測試和調整。

請參閱 負責任使用指南。

📄 許可證

Llama 2 社區許可協議

“協議”指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔”指 Meta 在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 上分發的與 Llama 2 相關的規格、手冊和文檔。

“被許可方”或“您”指您本人，或您的僱主，或任何其他個人或實體（如果您代表該個人或實體簽訂本協議），該個人或實體需達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表其簽訂本協議，該個人或實體具有約束您的僱主或該其他個人或實體的合法權力。

“Llama 2”指 Meta 在 ai.meta.com/resources/models-and-libraries/llama-downloads/ 上分發的基礎大語言模型、軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及上述內容的其他元素。

“Llama 材料”指根據本協議提供的 Meta 專有 Llama 2 和文檔（及其任何部分）的統稱。

“Meta”或“我們”指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區（EEA）或瑞士，或者如果您是一個實體，您的主要營業地位於 EEA 或瑞士）和 Meta Platforms, Inc.（如果您位於 EEA 或瑞士以外）。

通過點擊下方的“我接受”，或使用或分發 Llama 材料的任何部分或元素，您同意受本協議的約束。

1. 許可權利與再分發
   • 權利授予：您被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • 再分發與使用
     • 如果您將 Llama 材料或其任何衍生作品分發給第三方，您應向該第三方提供本協議的副本。
     • 如果您作為集成最終用戶產品的一部分從被許可方處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。
     • 您在分發的所有 Llama 材料副本中，必須在作為副本一部分分發的“通知”文本文件中保留以下歸屬聲明：“Llama 2 根據 Llama 2 社區許可協議獲得許可，版權所有 (c) Meta Platforms, Inc. 保留所有權利。”
     • 您對 Llama 材料的使用必須遵守適用的法律法規（包括貿易合規法律和法規），並遵守 Llama 材料的可接受使用政策（可在 https://ai.meta.com/llama/use-policy 上獲取），該政策特此通過引用併入本協議。
     • 您不得使用 Llama 材料或 Llama 材料的任何輸出或結果來改進任何其他大語言模型（不包括 Llama 2 或其衍生作品）。
2. 額外商業條款：如果在 Llama 2 版本發佈日期，被許可方或被許可方的關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億，您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可。在 Meta 明確授予您此類權利之前，您無權行使本協議下的任何權利。
3. 保修免責聲明：除非適用法律要求，否則 Llama 材料及其任何輸出和結果均按“現狀”提供，不提供任何形式的保證，無論是明示的還是暗示的，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與您使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta 或其關聯公司均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，無論責任理論如何，包括合同、侵權、疏忽、產品責任或其他。即使 Meta 或其關聯公司已被告知此類損害的可能性。
5. 知識產權
   • 本協議未授予任何商標許可，並且與 Llama 材料相關，除非在描述和再分發 Llama 材料時進行合理和慣常使用所需，否則 Meta 和被許可方均不得使用對方或其任何關聯公司擁有或與之相關的任何名稱或標記。
   • 鑑於 Meta 對 Llama 材料及其衍生作品的所有權，就您創作的 Llama 材料的任何衍生作品和修改而言，在您和 Meta 之間，您是並將繼續是此類衍生作品和修改的所有者。
   • 如果您對 Meta 或任何實體提起訴訟或其他法律程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Llama 2 的輸出或結果，或上述任何內容的任何部分，構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可自該訴訟或索賠提起之日起終止。您將賠償並使 Meta 免受任何第三方因您使用或分發 Llama 材料而產生或與之相關的任何索賠。
6. 期限與終止：本協議的期限自您接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 2 可接受使用政策

Meta 致力於促進其工具和功能（包括 Llama 2）的安全和公平使用。如果您訪問或使用 Llama 2，您同意遵守本可接受使用政策（“政策”）。本政策的最新版本可在 ai.meta.com/llama/use-policy 上找到。

禁止使用情況

我們希望每個人都能安全、負責地使用 Llama 2。您同意您不會使用或允許他人使用 Llama 2 進行以下行為：

1. 違反法律或他人權利
   • 從事、促進、生成、促成、鼓勵、策劃、煽動或進一步推動非法或違法活動或內容，例如：
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創作、獲取或傳播兒童剝削內容，或未能報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未能對相關信息或材料採用法律要求的年齡限制措施
     • 性招攬
     • 任何其他犯罪活動
   • 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
   • 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
   • 從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 2 材料的任何產品或服務的輸出或結果
   • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒，或進行任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的其他操作
2. 從事、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下相關的 Llama 2 使用：
   • 軍事、戰爭、核工業或應用、間諜活動、使用受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法毒品和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或傷害他人，包括自殺、自殘和飲食失調
   • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下相關的 Llama 2 使用：
   • 生成、促進或進一步推動欺詐或虛假信息的創建或傳播
   • 生成、促進或進一步推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 聲稱 Llama 2 的使用或輸出是人類生成的
   • 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動手段
4. 未能向最終用戶適當披露您的人工智能系統的任何已知危險

請通過以下方式之一報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：github.com/facebookresearch/llama
• 報告模型生成的危險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用 Llama 的情況：LlamaUseReport@meta.com

🔍 報告問題

請通過以下方式之一報告模型的任何軟件“漏洞”或其他問題：

• 報告模型問題：github.com/facebookresearch/llama
• 報告模型生成的問題內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info

📑 Llama 模型索引