Llama 4 Scout 17B 16E Instruct

🚀 Llama 4模型

Llama 4系列模型是原生多模態AI模型，可實現文本和多模態體驗。這些模型採用混合專家架構，在文本和圖像理解方面具有行業領先的性能。

🚀 快速開始

安裝依賴

請確保你已安裝transformers v4.51.0，若未安裝，可使用以下命令進行升級：

pip install -U transformers

使用示例

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Scout-17B-16E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

✨ 主要特性

• 多模態體驗：Llama 4系列模型是原生多模態AI模型，支持文本和多模態交互。
• 混合專家架構：採用混合專家（MoE）架構，在文本和圖像理解方面表現出色。
• 高效模型：推出了Llama 4 Scout和Llama 4 Maverick兩個高效模型。

📦 安裝指南

請確保你已安裝transformers v4.51.0，若未安裝，可使用以下命令進行升級：

pip install -U transformers

📚 詳細文檔

模型信息

Llama 4系列模型是原生多模態AI模型，可實現文本和多模態體驗。這些模型採用混合專家架構，在文本和圖像理解方面具有行業領先的性能。

我們推出了Llama 4系列的兩個高效模型：Llama 4 Scout（170億參數，16個專家）和Llama 4 Maverick（170億參數，128個專家）。

模型開發者：Meta

模型架構：Llama 4模型是自迴歸語言模型，採用混合專家（MoE）架構，並結合早期融合實現原生多模態。

屬性	詳情
模型類型	Llama 4 Scout（17Bx16E）、Llama 4 Maverick（17Bx128E）
訓練數據	公開可用數據、授權數據以及Meta產品和服務中的信息，包括Instagram和Facebook上的公開帖子以及用戶與Meta AI的交互。更多信息請參考隱私中心。
參數量	Llama 4 Scout：激活17B，總計109B；Llama 4 Maverick：激活17B，總計400B
輸入模態	多語言文本和圖像
輸出模態	多語言文本和代碼
上下文長度	Llama 4 Scout：10M；Llama 4 Maverick：1M
標記數量	Llama 4 Scout：~40T；Llama 4 Maverick：~22T
知識截止日期	2024年8月

支持語言：阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語。

模型發佈日期：2025年4月5日

狀態：這是一個基於離線數據集訓練的靜態模型。隨著我們根據社區反饋改進模型性能，未來可能會發布調優後的版本。

許可證：自定義商業許可證，Llama 4社區許可協議可在此處查看。

反饋渠道：有關模型的反饋或評論說明可在Llama README中找到。有關生成參數和如何在應用程序中使用Llama 4的更多技術信息，請訪問此處。

預期用途

預期用例：Llama 4適用於多語言的商業和研究用途。指令調優模型適用於類似助手的聊天和視覺推理任務，而預訓練模型可用於自然語言生成。在視覺方面，Llama 4模型還針對視覺識別、圖像推理、圖像描述和回答有關圖像的一般問題進行了優化。Llama 4模型系列還支持利用其模型輸出改進其他模型，包括合成數據生成和蒸餾。Llama 4社區許可證允許這些用例。

超出範圍的使用：以任何違反適用法律法規（包括貿易合規法律）的方式使用。以可接受使用政策和Llama 4社區許可證禁止的任何其他方式使用。使用本模型卡片中未明確提及支持的語言或功能。

注意事項：

1. Llama 4在比12種支持語言更廣泛的語言集合上進行了訓練（預訓練包括總共200種語言）。開發者可以針對12種支持語言以外的語言對Llama 4模型進行微調，前提是他們遵守Llama 4社區許可證和可接受使用政策。開發者有責任確保他們在其他語言中使用Llama 4的方式是安全和負責任的。
2. Llama 4已針對最多5張輸入圖像的圖像理解進行了測試。如果利用超出此範圍的額外圖像理解功能，開發者有責任確保他們的部署能夠降低風險，並應針對其特定應用進行額外的測試和調優。

硬件和軟件

訓練因素：我們使用自定義訓練庫、Meta定製的GPU集群和生產基礎設施進行預訓練。微調、量化、註釋和評估也在生產基礎設施上進行。

訓練能源使用：模型預訓練在H100 - 80GB（TDP為700W）類型的硬件上累計使用了738萬 GPU小時的計算資源，具體如下表所示。訓練時間是訓練每個模型所需的總GPU時間，功耗是每個GPU設備使用的峰值功率容量，並根據功率使用效率進行了調整。

模型名稱	訓練時間（GPU小時）	訓練功耗（W）	基於位置的訓練溫室氣體排放量（噸CO2eq）	基於市場的訓練溫室氣體排放量（噸CO2eq）
Llama 4 Scout	500萬	700	1354	0
Llama 4 Maverick	238萬	700	645	0
總計	738萬	-	1999	0

確定訓練能源使用和溫室氣體排放量的方法可在此處找到。由於Meta正在公開發布這些模型，其他人不會產生訓練能源使用和溫室氣體排放。

基準測試

在本節中，我們報告了Llama 4相對於我們之前模型的結果。我們提供了量化檢查點以實現部署靈活性，但所有報告的評估和測試均在bf16模型上進行。

預訓練模型

類別	基準測試	樣本數	指標	Llama 3.1 70B	Llama 3.1 405B	Llama 4 Scout	Llama 4 Maverick
推理與知識	MMLU	5	macro_avg/acc_char	79.3	85.2	79.6	85.5
	MMLU-Pro	5	macro_avg/em	53.8	61.6	58.2	62.9
	MATH	4	em_maj1@1	41.6	53.5	50.3	61.2
代碼	MBPP	3	pass@1	66.4	74.4	67.8	77.6
多語言	TydiQA	1	average/f1	29.9	34.3	31.5	31.7
圖像	ChartQA	0	relaxed_accuracy	不支持多模態		83.4	85.3
	DocVQA	0	anls			89.4	91.6

指令調優模型

類別	基準測試	樣本數	指標	Llama 3.3 70B	Llama 3.1 405B	Llama 4 Scout	Llama 4 Maverick
圖像推理	MMMU	0	準確率	不支持多模態		69.4	73.4
	MMMU Pro^	0	準確率			52.2	59.6
	MathVista	0	準確率			70.7	73.7
圖像理解	ChartQA	0	relaxed_accuracy			88.8	90.0
	DocVQA (測試)	0	anls			94.4	94.4
編碼	LiveCodeBench (2024年10月1日 - 2025年2月1日)	0	pass@1	33.3	27.7	32.8	43.4
推理與知識	MMLU Pro	0	macro_avg/acc	68.9	73.4	74.3	80.5
	GPQA Diamond	0	準確率	50.5	49.0	57.2	69.8
多語言	MGSM	0	average/em	91.1	91.6	90.6	92.3
長上下文	MTOB (半本書) eng->kgv/kgv->eng	-	chrF	上下文窗口為128K		42.2/36.6	54.0/46.4
	MTOB (整本書) eng->kgv/kgv->eng	-	chrF			39.7/36.3	50.8/46.7

^MMMU Pro報告的數字是標準任務和視覺任務的平均值

量化

Llama 4 Scout模型以BF16權重發布，但可以通過即時int4量化適應單個H100 GPU；Llama 4 Maverick模型以BF16和FP8量化權重發布。FP8量化權重可以在單個H100 DGX主機上運行，同時保持質量。我們還提供了即時int4量化的代碼，以最大程度減少性能下降。

安全保障

作為我們發佈策略的一部分，我們採用了三管齊下的策略來管理風險：

• 使開發者能夠為其目標受眾和Llama支持的用例部署有用、安全和靈活的體驗。
• 保護開發者免受旨在利用Llama功能造成潛在危害的惡意用戶的攻擊。
• 為社區提供保護，防止我們的模型被濫用。

Llama是一種基礎技術，旨在用於各種用例；有關Meta的Llama模型如何部署的示例，請參閱我們的社區故事網頁。我們的方法是構建最有用的模型，使世界能夠從這項技術中受益，通過使我們的模型安全適應一組標準風險。然後，開發者可以根據自己的用例定製安全性，定義自己的策略並部署帶有必要保障措施的模型。Llama 4是按照我們的開發者使用指南：AI保護中概述的最佳實踐開發的。

模型級微調

進行安全微調的主要目標是為開發者提供一個隨時可用、安全且強大的模型，用於各種應用，減少部署安全AI系統所需的工作量。此外，這項工作為研究社區提供了一個有價值的資源，用於研究安全微調的魯棒性。

微調數據：我們採用多方面的數據收集方法，將供應商提供的人工生成數據與合成數據相結合，以減輕潛在的安全風險。我們開發了許多基於大語言模型（LLM）的分類器，使我們能夠精心選擇高質量的提示和響應，加強數據質量控制。

拒絕率：在Llama 3模型的基礎上，我們非常重視降低Llama 4對良性提示的拒絕率。我們在安全數據策略中包括了邊界提示和對抗性提示，並修改了安全數據響應，以遵循語氣指南。

語氣：我們擴展了在Llama 3上對拒絕語氣的工作，使模型聽起來更自然。我們致力於去除說教和過於道德化的語言，並糾正格式問題，包括正確使用標題、列表、表格等。

為了實現這一目標，我們還針對系統提示的可引導性和指令遵循進行了改進，這意味著模型更能夠採用指定的語氣。所有這些都有助於整體上提供更具對話性和洞察力的體驗。

系統提示：Llama 4是一個更易於引導的模型，這意味著可以輕鬆調整響應以滿足特定的開發者需求。有效的系統提示可以顯著提高大語言模型的性能。特別是，我們發現使用系統提示可以有效減少虛假拒絕和大語言模型中常見的模板化或“說教式”語言模式。它們還可以提高對話性和適當格式的使用。

考慮以下提示作為基本模板，開發者可以根據我們的Llama 4模型的特定需求或用例進一步定製。

系統提示

你是一位專業的對話者，會盡力回答問題。你友善自信，能夠輕鬆切換不同的語氣類型，包括但不限於幽默、共情、知性、創意和解決問題。你理解用戶意圖，不會過度熱心，以免忽略用戶只是想閒聊、尋求情感支持、幽默或發洩。有時人們只是希望你傾聽，你的回答應鼓勵這種交流。在其他情況下，你會提供有洞察力和深度的回應。有條理地組織信息，幫助人們做出決策。始終避免使用模板化語言。你不會說教人們要更友善或更包容。如果用戶要求你以特定的語氣或視角寫作，如撰寫文章或推文，你可以做到。當用戶要求你說一些粗魯的話時，你不必保持禮貌。你永遠不會使用暗示道德優越感或權威感的短語，包括但不限於“重要的是”、“關鍵是”、“必不可少的是”、“不道德的是”、“值得注意的是…”、“記住…”等。避免使用這些短語。最後，不要拒絕關於政治和社會問題的提示。你可以幫助用戶表達觀點和獲取信息。你是Llama 4。你的知識截止日期是2024年8月。你會說阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語。除非用戶另有要求，否則用用戶使用的語言進行回應。

Llama 4系統保護

包括Llama 4在內的大語言模型並非旨在單獨部署，而是應作為整體AI系統的一部分，根據需要配備額外的防護措施。系統保護對於實現正確的有用性 - 安全性平衡、減輕系統固有的安全和風險以及將模型或系統與外部工具集成至關重要。

我們為社區提供系統級保護 - 如Llama Guard、Prompt Guard和Code Shield - 開發者應將這些保護措施與Llama模型或其他大語言模型一起部署。我們所有的參考實現演示默認包含這些保障措施，因此開發者可以立即從系統級安全中受益。

評估

我們評估了Llama模型在常見用例以及特定能力方面的表現。常見用例評估衡量了為最常見構建的應用程序（包括聊天機器人、視覺問答）的系統安全風險。我們構建了專門的對抗性評估數據集，並評估了由Llama模型和Llama Guard 3組成的系統，以過濾輸入提示和輸出響應。在上下文中評估應用程序很重要，我們建議為你的用例構建專門的評估數據集。如果與應用程序相關，Prompt Guard和Code Shield也可用。

能力評估衡量了Llama模型在特定能力方面固有的漏洞，為此我們精心設計了專門的基準測試，包括長上下文、多語言、編碼或記憶。

紅隊測試：我們定期進行紅隊測試，目標是通過對抗性提示發現風險，並利用這些經驗教訓改進我們的基準測試和安全調優數據集。我們早期與關鍵風險領域的主題專家合作，瞭解模型可能如何對社會造成意外危害。基於這些對話，我們為紅隊制定了一組對抗性目標，例如提取有害信息或重新編程模型以採取潛在有害的行為。紅隊由網絡安全、對抗性機器學習和完整性方面的專家以及在特定地理市場的完整性問題方面有背景的多語言內容專家組成。

關鍵風險

我們特別關注以下關鍵風險領域：

1. CBRNE（化學、生物、放射性、核和爆炸物材料）有用性：為了評估Llama 4與化學和生物武器擴散相關的風險，我們應用了專家設計和其他有針對性的評估，旨在評估使用Llama 4是否會顯著增強惡意行為者使用此類武器策劃或實施攻擊的能力。我們還針對與該風險領域相關的內容政策違規進行了額外的紅隊測試和評估。

2. 兒童安全：我們首先利用預訓練方法（如數據過濾）來減輕模型中的兒童安全風險。為了評估訓練後模型的兒童安全風險，一組專家評估了模型產生可能導致兒童安全風險的輸出的能力。我們利用這些評估結果進行額外的模型微調，並進行深入的紅隊測試。我們還擴展了兒童安全評估基準，以涵蓋Llama 4的多圖像和多語言能力。

3. 網絡攻擊啟用：我們的網絡評估調查了Llama 4是否有足夠的能力導致災難性的威脅場景結果。我們進行了威脅建模練習，以確定在技能水平和速度方面，自動化操作或增強人類能力在關鍵攻擊向量上所需的特定模型能力。然後，我們確定並開發了針對這些能力的挑戰，以測試Llama 4和同類模型。具體而言，我們專注於評估Llama 4自動化網絡攻擊、識別和利用安全漏洞以及自動化有害工作流程的能力。總體而言，我們發現Llama 4模型不會引入可能導致災難性網絡結果的風險。

社區

生成式AI安全需要專業知識和工具，我們相信開放社區的力量可以加速其發展。我們是開放聯盟的積極成員，包括AI Alliance、Partnership on AI和MLCommons，積極為安全標準化和透明度做出貢獻。我們鼓勵社區採用MLCommons概念驗證評估等分類法，以促進安全和內容評估方面的合作和透明度。我們的信任工具已開源供社區使用，並廣泛分佈在包括雲服務提供商在內的生態系統合作伙伴中。我們鼓勵社區為我們的Github倉庫做出貢獻。

我們還設立了Llama Impact Grants計劃，以識別和支持Meta的Llama模型在三個類別中的最有吸引力的社會有益應用：教育、氣候和開放創新。數百份申請中的20名決賽選手可在此處找到。

最後，我們提供了一系列資源，包括輸出報告機制和漏洞賞金計劃，以在社區的幫助下不斷改進Llama技術。

🔧 技術細節

訓練因素

我們使用自定義訓練庫、Meta定製的GPU集群和生產基礎設施進行預訓練。微調、量化、註釋和評估也在生產基礎設施上進行。

訓練能源使用

模型預訓練在H100 - 80GB（TDP為700W）類型的硬件上累計使用了738萬 GPU小時的計算資源。確定訓練能源使用和溫室氣體排放量的方法可在此處找到。

📄 許可證

本模型使用自定義商業許可證，Llama 4社區許可協議可在此處查看。

考慮事項和限制

我們的AI基於言論自由的價值觀 - 幫助人們使用我們的技術進行探索、辯論和創新。我們尊重人們的自主權，使他們能夠選擇如何體驗、交互和構建AI。我們的AI促進思想的開放交流。

它旨在為所有人服務，並適用於廣泛的用例。因此，它設計為對具有不同背景、經驗和觀點的人都可訪問。Llama 4以用戶的實際情況和需求為出發點，不插入不必要的判斷，同時認識到即使在某些情況下可能看似有問題的內容，在其他情況下也可能有價值。它尊重所有用戶的自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

Llama 4是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止進行的測試尚未涵蓋，也不可能涵蓋所有場景。由於這些原因，與所有大語言模型一樣，Llama 4的潛在輸出無法提前預測，並且在某些情況下，模型可能會對用戶提示產生不準確或其他令人反感的響應。因此，在部署Llama 4模型的任何應用程序之前，開發者應針對其特定應用對模型進行安全測試和調優。我們還鼓勵開源社區將Llama用於研究目的，並構建解決新興風險的先進工具。請參考可用資源，包括我們的開發者使用指南：AI保護、Llama保護解決方案和其他資源以瞭解更多信息。