模型概述
模型特點
模型能力
使用案例
🚀 Llama 2
Llama 2是一系列預訓練和微調的生成式文本模型,參數規模從70億到700億不等。本倉庫為13B微調模型,針對對話用例進行了優化,並轉換為Hugging Face Transformers格式。其他模型的鏈接可在底部索引中找到。
🚀 快速開始
使用本模型受Meta許可證的約束。若要下載模型權重和分詞器,請訪問網站,接受許可協議後,再在此處申請訪問權限。
✨ 主要特性
- Meta開發並公開發布了Llama 2系列大語言模型(LLM),這是一組預訓練和微調的生成式文本模型,參數規模從70億到700億不等。
- 經過微調的LLM(Llama - 2 - Chat)針對對話用例進行了優化。在大多數測試基準中,Llama - 2 - Chat模型的表現優於開源聊天模型;在人工評估的有用性和安全性方面,與ChatGPT和PaLM等一些流行的閉源模型相當。
📚 詳細文檔
模型詳情
- 模型開發者:Meta
- 變體:Llama 2有多種參數規模(7B、13B和70B),以及預訓練和微調等不同版本。
- 輸入:模型僅接受文本輸入。
- 輸出:模型僅生成文本。
- 模型架構:Llama 2是一種自迴歸語言模型,採用了優化的Transformer架構。微調版本使用監督微調(SFT)和基於人類反饋的強化學習(RLHF),以符合人類對有用性和安全性的偏好。
屬性 | 詳情 |
---|---|
模型類型 | Llama 2是自迴歸語言模型,使用優化的Transformer架構,微調版本結合SFT和RLHF |
訓練數據 | 預訓練使用2萬億公開數據令牌,微調數據包含公開指令數據集和超100萬新人工標註示例,均無Meta用戶數據 |
模型參數 | 有7B、13B、70B等不同參數規模 |
輸入要求 | 僅接受文本輸入 |
輸出形式 | 僅生成文本 |
訓練時間 | 2023年1月至7月 |
模型狀態 | 靜態模型,基於離線數據集訓練,後續微調版本將結合社區反饋改進安全性能 |
許可證 | 自定義商業許可證,詳情見鏈接 |
研究論文 | "Llama - 2: Open Foundation and Fine - tuned Chat Models" |
預期用途
- 預期用例:Llama 2用於英語商業和研究。微調模型用於類助手聊天,預訓練模型可用於多種自然語言生成任務。要獲得聊天版本的預期特性和性能,需遵循特定格式,包括
INST
和<<SYS>>
標籤、BOS
和EOS
令牌,以及其間的空格和換行符(建議對輸入調用strip()
以避免雙空格)。詳情見GitHub參考代碼:chat_completion
。 - 非預期用途:禁止以任何違反適用法律法規(包括貿易合規法律)的方式使用;禁止使用英語以外的語言;禁止以違反Llama 2可接受使用政策和許可協議的任何其他方式使用。
硬件和軟件
- 訓練因素:預訓練使用自定義訓練庫、Meta的研究超級集群和生產集群。微調、標註和評估在第三方雲計算平臺上進行。
- 碳足跡:預訓練在A100 - 80GB(TDP為350 - 400W)硬件上累計使用330萬GPU小時計算。估計總排放量為539 tCO₂eq,全部由Meta的可持續發展計劃抵消。
模型 | 時間(GPU小時) | 功耗(W) | 碳排放(tCO₂eq) |
---|---|---|---|
Llama 2 7B | 184320 | 400 | 31.22 |
Llama 2 13B | 368640 | 400 | 62.44 |
Llama 2 70B | 1720320 | 400 | 291.42 |
總計 | 3311616 | 539.00 |
訓練數據
- 概述:Llama 2在2萬億公開數據令牌上進行預訓練。微調數據包括公開指令數據集以及超100萬新的人工標註示例。預訓練和微調數據集均不包含Meta用戶數據。
- 數據時效性:預訓練數據截止到2022年9月,部分微調數據更新至2023年7月。
評估結果
學術基準整體表現
模型 | 規模 | 代碼 | 常識推理 | 世界知識 | 閱讀理解 | 數學 | MMLU | BBH | AGI評估 |
---|---|---|---|---|---|---|---|---|---|
Llama 1 7B | 7B | 14.1 | 60.8 | 46.2 | 58.5 | 6.95 | 35.1 | 30.3 | 23.9 |
Llama 1 13B | 13B | 18.9 | 66.1 | 52.6 | 62.3 | 10.9 | 46.9 | 37.0 | 33.9 |
Llama 1 33B | 33B | 26.0 | 70.0 | 58.4 | 67.6 | 21.4 | 57.8 | 39.8 | 41.7 |
Llama 1 65B | 65B | 30.7 | 70.7 | 60.5 | 68.6 | 30.8 | 63.4 | 43.5 | 47.6 |
Llama 2 7B | 7B | 16.8 | 63.9 | 48.9 | 61.3 | 14.6 | 45.3 | 32.6 | 29.3 |
Llama 2 13B | 13B | 24.5 | 66.9 | 55.4 | 65.8 | 28.7 | 54.8 | 39.4 | 39.1 |
Llama 2 70B | 70B | 37.5 | 71.9 | 63.6 | 69.4 | 35.2 | 68.9 | 51.2 | 54.2 |
預訓練LLM在自動安全基準上的評估
模型 | 規模 | 真實問答 | 毒性生成 |
---|---|---|---|
Llama 1 7B | 7B | 27.42 | 23.00 |
Llama 1 13B | 13B | 41.74 | 23.08 |
Llama 1 33B | 33B | 44.19 | 22.57 |
Llama 1 65B | 65B | 48.71 | 21.77 |
Llama 2 7B | 7B | 33.29 | 21.25 |
Llama 2 13B | 13B | 41.86 | 26.10 |
Llama 2 70B | 70B | 50.18 | 24.60 |
微調LLM在不同安全數據集上的評估
模型 | 規模 | 真實問答 | 毒性生成 |
---|---|---|---|
Llama - 2 - Chat 7B | 7B | 57.04 | 0.00 |
Llama - 2 - Chat 13B | 13B | 62.18 | 0.00 |
Llama - 2 - Chat 70B | 70B | 64.14 | 0.01 |
倫理考量與侷限性
Llama 2是一項新技術,使用時存在風險。目前的測試僅使用英語,無法涵蓋所有場景。因此,與所有大語言模型一樣,Llama 2的潛在輸出無法提前預測,在某些情況下,模型可能會對用戶提示產生不準確、有偏差或其他令人反感的回覆。所以,在部署Llama 2的任何應用之前,開發者應針對特定應用進行安全測試和調整。請參閱負責任使用指南。
問題反饋
請通過以下方式報告軟件“漏洞”或模型的其他問題:
- 報告模型問題:github.com/facebookresearch/llama
- 報告模型生成的問題內容:developers.facebook.com/llama_output_feedback
- 報告漏洞和安全問題:facebook.com/whitehat/info
Llama模型索引
模型 | Llama2 | Llama2 - hf | Llama2 - chat | Llama2 - chat - hf |
---|---|---|---|---|
7B | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 7b) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 7b - hf) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 7b - chat) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 7b - chat - hf) |
13B | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 13b) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 13b - hf) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 13b - chat) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 13b - chat - hf) |
70B | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 70b) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 70b - hf) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 70b - chat) | [鏈接](https://huggingface.co/meta - llama/Llama - 2 - 70b - chat - hf) |
Llama 2社區許可協議
若要訪問此模型,您需要與Meta共享聯繫信息。點擊下方的“我接受”或使用、分發Llama材料的任何部分或元素,即表示您同意受本協議的約束。協議詳細規定了許可權利與再分發、額外商業條款、免責聲明、責任限制、知識產權、期限與終止、適用法律與管轄權等內容。同時,使用Llama 2需遵守可接受使用政策,禁止用於違法、危害人身安全、欺騙誤導等行為。若發現違反政策、軟件“漏洞”或其他問題,可通過指定方式進行報告。
Llama 2可接受使用政策
Meta致力於促進其工具和功能(包括Llama 2)的安全和公平使用。如果您訪問或使用Llama 2,則表示您同意本可接受使用政策。最新版本的政策可在[ai.meta.com/llama/use - policy](http://ai.meta.com/llama/use - policy)找到。
禁止用途
- 不得使用Llama 2違反法律或他人權利,包括從事、促進非法活動、騷擾他人、進行歧視、未經授權從事專業活動、收集敏感個人信息、侵犯第三方權利、創建惡意代碼等。
- 不得使用Llama 2從事、促進可能對個人造成死亡或身體傷害的活動,如軍事、武器、毒品、操作關鍵基礎設施等相關活動。
- 不得故意使用Llama 2欺騙或誤導他人,包括生成欺詐信息、誹謗內容、垃圾郵件、冒充他人、虛假表示輸出為人為生成等。
- 若AI系統存在已知危險,需向最終用戶適當披露。
若發現違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題,請通過以下方式報告:
- 報告模型問題:github.com/facebookresearch/llama
- 報告模型生成的風險內容:developers.facebook.com/llama_output_feedback
- 報告漏洞和安全問題:facebook.com/whitehat/info
- 報告違反可接受使用政策或未經授權使用Llama的情況:LlamaUseReport@meta.com
信息收集說明
您提供的信息將根據Meta隱私政策進行收集、存儲、處理和共享。提交信息時,需勾選接受許可協議條款,並確認信息將按Meta隱私政策處理。
額外信息字段
字段 | 類型 |
---|---|
名字 | 文本框 |
姓氏 | 文本框 |
出生日期 | 日期選擇器 |
國家 | 國家選擇 |
所屬機構 | 文本框 |
地理位置 | IP定位 |
接受許可協議並確認信息處理 | 複選框 |



