Llama 3.1 8B Instruct

🚀 Meta Llama 3.1 多語言大語言模型

Meta Llama 3.1 是一系列多語言大語言模型（LLMs），涵蓋 8B、70B 和 405B 三種規格的預訓練和指令微調生成模型（文本輸入/輸出）。這些模型針對多語言對話場景進行了優化，在常見行業基準測試中表現出色，超越了許多現有的開源和閉源聊天模型。

🚀 快速開始

使用 Transformers 庫

從 transformers >= 4.43.0 版本開始，你可以使用 Transformers 的 pipeline 抽象或藉助 Auto 類和 generate() 函數進行對話推理。

請確保通過以下命令更新你的 transformers 庫：

pip install --upgrade transformers

以下是一個使用示例：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

你還可以在 huggingface-llama-recipes 找到更多關於本地使用模型、torch.compile()、輔助生成、量化等詳細使用方法。

使用 Transformers 進行工具調用

LLaMA - 3.1 支持多種工具調用格式。你可以在 這裡 查看完整的提示格式指南。

在 Transformers 中，也可以通過 聊天模板 支持工具調用。以下是一個簡單工具調用的快速示例：

# 首先，定義一個工具
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location: The location to get the temperature for, in the format "City, Country"
    Returns:
        The current temperature at the specified location in the specified units, as a float.
    """
    return 22.  # A real function should probably actually get the temperature!

# 接下來，創建一個聊天並應用聊天模板
messages = [
  {"role": "system", "content": "You are a bot that responds to weather queries."},
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]

inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

你可以像往常一樣從這個輸入生成文本。如果模型生成了工具調用，你應該將其添加到聊天中，如下所示：

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然後調用工具並將結果以 tool 角色添加到聊天中，如下所示：

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

之後，你可以再次調用 generate() 讓模型在聊天中使用工具結果。請注意，這只是工具調用的簡要介紹，更多信息請參閱 LLaMA 提示格式文檔 和 Transformers 的 工具使用文檔。

使用 llama 代碼庫

請遵循 倉庫 中的說明。

要下載原始檢查點，請參考以下使用 huggingface-cli 的示例命令：

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir Meta-Llama-3.1-8B-Instruct

✨ 主要特性

• 多語言支持：支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。
• 高性能表現：在常見行業基準測試中超越許多現有開源和閉源聊天模型。
• 工具調用支持：支持多種工具調用格式，方便開發者集成外部工具。
• 長上下文窗口：提供更長的上下文窗口，增強模型的理解和生成能力。

📦 安裝指南

使用該模型前，請確保安裝了 transformers 庫，可通過以下命令進行更新：

pip install --upgrade transformers

📚 詳細文檔

模型信息

屬性	詳情
模型開發者	Meta
模型架構	Llama 3.1 是一種自迴歸語言模型，採用優化的 Transformer 架構。微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF）來符合人類對有用性和安全性的偏好。
訓練數據	Llama 3.1 在約 15 萬億個來自公開來源的標記上進行預訓練。微調數據包括公開可用的指令數據集以及超過 2500 萬個合成生成的示例。
支持語言	英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。
模型發佈日期	2024 年 7 月 23 日
狀態	這是一個基於離線數據集訓練的靜態模型。隨著我們通過社區反饋改進模型安全性，未來將發佈微調模型的新版本。
許可證	自定義商業許可證，Llama 3.1 社區許可證，可在 這裡 查看。

預期用途

預期用例

Llama 3.1 旨在用於多種語言的商業和研究用途。指令微調的純文本模型適用於類似助手的聊天場景，而預訓練模型可用於各種自然語言生成任務。Llama 3.1 模型系列還支持利用其模型輸出改進其他模型，包括合成數據生成和蒸餾。Llama 3.1 社區許可證允許這些用例。

超出範圍的使用

• 以任何違反適用法律法規（包括貿易合規法律）的方式使用。
• 以可接受使用政策和 Llama 3.1 社區許可證禁止的任何其他方式使用。
• 在本模型卡片中未明確提及支持的語言中使用。

⚠️ 重要提示

Llama 3.1 已在比 8 種支持語言更廣泛的語言集合上進行了訓練。開發者可以針對 8 種支持語言之外的語言對 Llama 3.1 模型進行微調，但前提是他們遵守 Llama 3.1 社區許可證和可接受使用政策，並負責確保以安全和負責任的方式使用 Llama 3.1 處理其他語言。

硬件和軟件

訓練因素

我們使用自定義訓練庫、Meta 定製的 GPU 集群和生產基礎設施進行預訓練。微調、標註和評估也在生產基礎設施上進行。

訓練計算資源

訓練總共使用了 3930 萬 GPU 小時的 H100 - 80GB（TDP 為 700W）類型硬件計算資源。訓練時間是訓練每個模型所需的總 GPU 時間，功耗是每個 GPU 設備的峰值功率容量，並根據功率使用效率進行了調整。

訓練溫室氣體排放

訓練估計的基於位置的總溫室氣體排放量為 11390 噸 CO2eq。自 2020 年以來，Meta 在其全球運營中保持了淨零溫室氣體排放，並使用可再生能源匹配了 100% 的電力使用，因此訓練的基於市場的總溫室氣體排放量為 0 噸 CO2eq。

模型	訓練時間（GPU 小時）	訓練功耗（W）	訓練基於位置的溫室氣體排放（噸 CO2eq）	訓練基於市場的溫室氣體排放（噸 CO2eq）
Llama 3.1 8B	146 萬	700	420	0
Llama 3.1 70B	700 萬	700	2040	0
Llama 3.1 405B	3084 萬	700	8930	0
總計	3930 萬	-	11390	0

確定訓練能源使用和溫室氣體排放的方法可在 這裡 找到。由於 Meta 正在公開發布這些模型，其他人不會產生訓練能源使用和溫室氣體排放。

基準測試分數

基礎預訓練模型

類別	基準測試	樣本數	指標	Llama 3 8B	Llama 3.1 8B	Llama 3 70B	Llama 3.1 70B	Llama 3.1 405B
通用	MMLU	5	macro_avg/acc_char	66.7	66.7	79.5	79.3	85.2
通用	MMLU - Pro (CoT)	5	macro_avg/acc_char	36.2	37.1	55.0	53.8	61.6
通用	AGIEval English	3 - 5	average/acc_char	47.1	47.8	63.0	64.6	71.6
通用	CommonSenseQA	7	acc_char	72.6	75.0	83.8	84.1	85.8
通用	Winogrande	5	acc_char	-	60.5	-	83.3	86.7
通用	BIG - Bench Hard (CoT)	3	average/em	61.1	64.2	81.3	81.6	85.9
通用	ARC - Challenge	25	acc_char	79.4	79.7	93.1	92.9	96.1
知識推理	TriviaQA - Wiki	5	em	78.5	77.6	89.7	89.8	91.8
閱讀理解	SQuAD	1	em	76.4	77.0	85.6	81.8	89.3
閱讀理解	QuAC (F1)	1	f1	44.4	44.9	51.1	51.1	53.6
閱讀理解	BoolQ	0	acc_char	75.7	75.0	79.0	79.4	80.0
閱讀理解	DROP (F1)	3	f1	58.4	59.5	79.7	79.6	84.8

指令微調模型

類別	基準測試	樣本數	指標	Llama 3 8B Instruct	Llama 3.1 8B Instruct	Llama 3 70B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
通用	MMLU	5	macro_avg/acc	68.5	69.4	82.0	83.6	87.3
通用	MMLU (CoT)	0	macro_avg/acc	65.3	73.0	80.9	86.0	88.6
通用	MMLU - Pro (CoT)	5	micro_avg/acc_char	45.5	48.3	63.4	66.4	73.3
通用	IFEval	-	-	76.8	80.4	82.9	87.5	88.6
推理	ARC - C	0	acc	82.4	83.4	94.4	94.8	96.9
推理	GPQA	0	em	34.6	30.4	39.5	46.7	50.7
代碼	HumanEval	0	pass@1	60.4	72.6	81.7	80.5	89.0
代碼	MBPP ++ base version	0	pass@1	70.6	72.8	82.5	86.0	88.6
代碼	Multipl - E HumanEval	0	pass@1	-	50.8	-	65.5	75.2
代碼	Multipl - E MBPP	0	pass@1	-	52.4	-	62.0	65.7
數學	GSM - 8K (CoT)	8	em_maj1@1	80.6	84.5	93.0	95.1	96.8
數學	MATH (CoT)	0	final_em	29.1	51.9	51.0	68.0	73.8
工具使用	API - Bank	0	acc	48.3	82.6	85.1	90.0	92.0
工具使用	BFCL	0	acc	60.3	76.1	83.0	84.8	88.5
工具使用	Gorilla Benchmark API Bench	0	acc	1.7	8.2	14.7	29.7	35.3
工具使用	Nexus (0 - shot)	0	macro_avg/acc	18.1	38.5	47.8	56.7	58.7
多語言	Multilingual MGSM (CoT)	0	em	-	68.9	-	86.9	91.6

多語言基準測試

類別	基準測試	語言	Llama 3.1 8B	Llama 3.1 70B	Llama 3.1 405B
通用	MMLU (5 - shot, macro_avg/acc)	葡萄牙語	62.12	80.13	84.95
通用	MMLU (5 - shot, macro_avg/acc)	西班牙語	62.45	80.05	85.08
通用	MMLU (5 - shot, macro_avg/acc)	意大利語	61.63	80.4	85.04
通用	MMLU (5 - shot, macro_avg/acc)	德語	60.59	79.27	84.36
通用	MMLU (5 - shot, macro_avg/acc)	法語	62.34	79.82	84.66
通用	MMLU (5 - shot, macro_avg/acc)	印地語	50.88	74.52	80.31
通用	MMLU (5 - shot, macro_avg/acc)	泰語	50.32	72.95	78.21

責任與安全

負責任的發佈策略

作為我們負責任發佈方法的一部分，我們採用了三管齊下的策略來管理信任和安全風險：

• 使開發者能夠為其目標受眾和 Llama 支持的用例部署有用、安全和靈活的體驗。
• 保護開發者免受旨在利用 Llama 功能造成潛在危害的惡意用戶的攻擊。
• 為社區提供保護，防止我們的模型被濫用。

負責任的部署

Llama 是一種基礎技術，旨在用於各種用例。關於 Meta 的 Llama 模型如何負責任地部署的示例，可以在我們的 社區故事網頁 上找到。我們的方法是構建最有用的模型，通過針對通用用例調整模型安全性，解決一系列標準危害，使世界受益於技術力量。然後，開發者可以根據自己的用例定製安全性，定義自己的政策，並在其 Llama 系統中部署必要的保障措施來使用模型。Llama 3.1 是按照我們的《負責任使用指南》中概述的最佳實踐開發的，你可以參考 《負責任使用指南》 瞭解更多信息。

Llama 3.1 指令微調

我們進行安全微調的主要目標是為研究社區提供一個研究安全微調魯棒性的有價值資源，同時為開發者提供一個隨時可用、安全且強大的模型，用於各種應用，以減少開發者部署安全 AI 系統的工作量。有關實施的安全緩解措施的更多詳細信息，請閱讀 Llama 3 論文。

微調數據

我們採用多方面的數據收集方法，將供應商提供的人工生成數據與合成數據相結合，以減輕潛在的安全風險。我們開發了許多基於大語言模型（LLM）的分類器，使我們能夠精心選擇高質量的提示和響應，加強數據質量控制。

拒絕和語氣

在 Llama 3 的基礎上，我們非常重視模型對良性提示的拒絕以及拒絕語氣。我們在安全數據策略中納入了邊界和對抗性提示，並修改了安全數據響應以遵循語氣指南。

Llama 3.1 系統

包括 Llama 3.1 在內的大語言模型並非設計用於單獨部署，而是應作為具有額外安全護欄的整體 AI 系統的一部分進行部署。開發者在構建自主系統時應部署系統保障措施。保障措施對於實現正確的有用性 - 安全性對齊以及減輕系統固有的安全和風險以及模型或系統與外部工具集成時的風險至關重要。

作為我們負責任發佈方法的一部分，我們為社區提供了 保障措施，開發者應將其與 Llama 模型或其他大語言模型一起部署，包括 Llama Guard 3、Prompt Guard 和 Code Shield。我們所有的 參考實現 演示默認包含這些保障措施，以便開發者可以立即受益於系統級安全。

新功能

請注意，此版本引入了新功能，包括更長的上下文窗口、多語言輸入和輸出以及開發者可能與第三方工具的集成。使用這些新功能除了需要遵循適用於所有生成式 AI 用例的最佳實踐外，還需要進行特定考慮。

工具使用

就像在標準軟件開發中一樣，開發者負責將 LLM 與他們選擇的工具和服務集成。他們應該為自己的用例定義明確的政策，並評估他們使用的第三方服務的完整性，以瞭解使用此功能時的安全和風險限制。有關安全部署第三方保障措施的最佳實踐，請參考《負責任使用指南》。

多語言支持

Llama 3.1 除英語外還支持 7 種語言：法語、德語、印地語、意大利語、葡萄牙語、西班牙語和泰語。Llama 可能能夠輸出超出安全和有用性性能閾值的其他語言文本。我們強烈建議開發者在未根據其政策和《負責任使用指南》中分享的最佳實踐進行微調並實施系統控制的情況下，不要使用此模型進行不支持語言的對話。

評估

我們對 Llama 模型進行了常見用例和特定功能的評估。常見用例評估衡量了最常見構建的應用程序（包括聊天機器人、編碼助手、工具調用）的系統安全風險。我們構建了專門的對抗性評估數據集，並評估了由 Llama 模型和 Llama Guard 3 組成的系統，以過濾輸入提示和輸出響應。在上下文中評估應用程序很重要，我們建議為你的用例構建專門的評估數據集。如果與應用程序相關，Prompt Guard 和 Code Shield 也可用。

功能評估衡量了 Llama 模型特定功能固有的漏洞，為此我們精心設計了專門的基準測試，包括長上下文、多語言、工具調用、編碼或記憶。

紅隊測試

對於這兩種情況，我們進行了定期的紅隊測試，目標是通過對抗性提示發現風險，並利用這些經驗教訓改進我們的基準測試和安全調優數據集。

我們早期與關鍵風險領域的主題專家合作，瞭解這些現實世界危害的性質以及此類模型可能如何對社會造成意外危害。基於這些對話，我們為紅隊制定了一組對抗性目標，例如提取有害信息或重新編程模型以發揮潛在的有害作用。紅隊由網絡安全、對抗性機器學習、負責任 AI 和誠信方面的專家以及在特定地理市場具有誠信問題背景的多語言內容專家組成。

關鍵和其他風險

我們特別關注減輕以下關鍵風險領域：

• CBRNE（化學、生物、放射性、核和爆炸物材料）有用性：為了評估與化學和生物武器擴散相關的風險，我們進行了提升測試，旨在評估使用 Llama 3.1 模型是否會顯著增強惡意行為者使用這些類型武器策劃或實施攻擊的能力。
• 兒童安全：我們使用專家團隊進行了兒童安全風險評估，以評估模型產生可能導致兒童安全風險的輸出的能力，並通過微調提供必要和適當的風險緩解建議。我們利用這些專家紅隊測試擴展了我們在 Llama 3 模型開發過程中評估基準的覆蓋範圍。對於 Llama 3，我們使用基於目標的方法進行了新的深入測試，以評估模型在多個攻擊向量上的風險，包括 Llama 3 訓練的額外語言。我們還與內容專家合作進行紅隊測試，評估潛在違規內容，同時考慮特定市場的細微差別或經驗。
• 網絡攻擊支持：我們的網絡攻擊提升研究調查了大語言模型是否能在技能水平和速度方面增強人類在黑客任務中的能力。我們的攻擊自動化研究專注於評估大語言模型作為自主代理在網絡攻擊行動中的能力，特別是在勒索軟件攻擊的背景下。這項評估與之前將大語言模型視為交互式助手的研究不同。主要目標是評估這些模型是否能在沒有人類干預的情況下有效地作為獨立代理執行復雜的網絡攻擊。我們對 Llama - 3.1 - 405B 對網絡攻擊者的社會工程提升的研究旨在評估 AI 模型在幫助網絡威脅行為者進行魚叉式網絡釣魚活動中的有效性。更多信息請閱讀我們的 Llama 3.1 網絡安全白皮書。

社區參與

生成式 AI 安全需要專業知識和工具，我們相信開放社區的力量可以加速其發展。我們是開放聯盟的積極成員，包括 AI 聯盟、AI 合作組織和 MLCommons，積極為安全標準化和透明度做出貢獻。我們鼓勵社區採用像 MLCommons 概念驗證評估這樣的分類法，以促進安全和內容評估的協作和透明度。我們的 Purple Llama 工具已開源供社區使用，並廣泛分發給包括雲服務提供商在內的生態系統合作伙伴。我們鼓勵社區為我們的 Github 倉庫 做出貢獻。

我們還設立了 Llama 影響贈款 計劃，以識別和支持 Meta 的 Llama 模型在教育、氣候和開放創新三個類別中對社會有益的最有前景的應用。數百份申請中的 20 名決賽選手可以在 這裡 找到。

最後，我們建立了一套資源，包括 輸出報告機制 和 漏洞賞金計劃，以在社區的幫助下不斷改進 Llama 技術。

倫理考慮和侷限性

Llama 3.1 的核心價值觀是開放性、包容性和有用性。它旨在為所有人服務，並適用於廣泛的用例。因此，它旨在讓不同背景、經驗和觀點的人都能使用。Llama 3.1 以用戶的實際需求為出發點，不插入不必要的判斷或規範性內容，同時認識到即使在某些情況下可能看起來有問題的內容，在其他情況下也可能有價值。它尊重所有用戶的尊嚴和自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

然而，Llama 3.1 是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止進行的測試尚未涵蓋，也不可能涵蓋所有場景。因此，與所有大語言模型一樣，Llama 3.1 的潛在輸出無法提前預測，模型在某些情況下可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 3.1 模型的任何應用之前，開發者應針對其特定應用進行安全測試和調整。請參考可用資源，包括我們的 《負責任使用指南》、信任與安全 解決方案以及其他 資源，以瞭解更多關於負責任開發的信息。

📄 許可證

Llama 3.1 採用自定義商業許可證，即 Llama 3.1 社區許可證，可在 這裡 查看。

Llama 3.1 社區許可證協議

請參考 完整協議 瞭解詳細的使用條款和條件。

Llama 3.1 可接受使用政策

Meta 致力於促進其工具和功能（包括 Llama 3.1）的安全和公平使用。如果你訪問或使用 Llama 3.1，即表示你同意本可接受使用政策（“政策”）。該政策的最新版本可在 https://llama.meta.com/llama3_1/use-policy 找到。

禁止使用情況

我們希望每個人都能安全、負責任地使用 Llama 3.1。你同意不會使用或允許他人使用 Llama 3.1 進行以下行為：

• 違反法律或他人權利，包括：
  • 從事、促進、生成、參與、鼓勵、策劃、煽動或推動非法或違法活動或內容，例如：
    • 暴力或恐怖主義
    • 對兒童的剝削或傷害，包括徵集、創建、獲取或傳播兒童剝削內容或未報告兒童性虐待材料
    • 人口販運、剝削和性暴力
    • 向未成年人非法分發信息或材料，包括淫穢材料，或未對相關信息或材料採用法律要求的年齡限制
    • 性引誘
    • 任何其他犯罪活動
  • 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
  • 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務提供方面的歧視或其他非法或有害行為
  • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
  • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
  • 從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成此類內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
  • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒或進行任何可能禁用、使負擔過重、干擾或損害網站或計算機系統正常運行、完整性、操作或外觀的其他操作
• 從事、促進、煽動、便利或協助策劃或開展可能對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的 Llama 3.1 使用：
  • 軍事、戰爭、核工業或應用、間諜活動、受美國國務院《國際武器貿易條例》（ITAR）管制的材料或活動
  • 槍支和非法武器（包括武器開發）
  • 非法藥物和受管制/受控物質
  • 關鍵基礎設施、運輸技術或重型機械的操作
  • 自我傷害或對他人的傷害，包括自殺、自殘和飲食失調
  • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
• 故意欺騙或誤導他人，包括與以下方面相關的 Llama 3.1 使用：
  • 生成、促進或推動欺詐或創建或推廣虛假信息
  • 生成、促進或推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
  • 生成、促進或進一步分發垃圾郵件
  • 在未經同意、授權或合法權利的情況下冒充他人
  • 表示 Llama 3.1 的使用或輸出是人類生成的
  • 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
• 未能向最終用戶適當披露你的 AI 系統的任何已知危險

請通過以下方式之一報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama-models/issues
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用 Meta Llama 3 的情況：LlamaUseReport@meta.com