Llama 4 Maverick 17B 128E

🚀 Llama 4模型

Llama 4是Meta推出的原生多模態AI模型，支持文本和多模態交互。它採用混合專家架構，在文本和圖像理解方面表現卓越，開啟了Llama生態系統的新紀元。

🚀 快速開始

若要使用transformers庫調用Llama 4模型，請確保已安裝transformers v4.51.0，可使用以下命令進行安裝或升級：

pip install -U transformers

基礎用法

from transformers import pipeline
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E"

pipe = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

output = pipe("Roses are red,", max_new_tokens=200)

✨ 主要特性

• 多語言支持：支持阿拉伯語、英語、法語、德語、印地語、印尼語、意大利語、葡萄牙語、西班牙語、他加祿語、泰語和越南語等多種語言。
• 多模態能力：原生支持文本和圖像輸入，可用於視覺識別、圖像推理、圖像描述等任務。
• 高性能表現：在多個基準測試中，相較於前代模型有顯著提升。
• 靈活部署：提供量化權重，可在單張H100 GPU上運行。

📦 安裝指南

請確保你已安裝transformers v4.51.0，可使用以下命令進行安裝或升級：

pip install -U transformers

📚 詳細文檔

模型信息

模型參數詳情

預期用途

預期用例

• 商業和研究：支持多語言的商業和研究應用。
• 對話和推理：指令調優模型適用於類助手聊天和視覺推理任務。
• 自然語言生成：預訓練模型可用於自然語言生成。
• 視覺任務：優化了視覺識別、圖像推理、圖像描述和圖像問答等任務。
• 模型改進：支持利用其輸出改進其他模型，包括合成數據生成和蒸餾。

超出範圍的使用

• 違法違規：任何違反適用法律法規（包括貿易合規法律）的使用。
• 違反政策：任何違反可接受使用政策和Llama 4社區許可協議的使用。
• 不支持的語言和能力：超出本模型卡明確支持的語言和能力範圍的使用。

硬件和軟件

訓練因素

使用自定義訓練庫、Meta定製的GPU集群和生產基礎設施進行預訓練。微調、量化、標註和評估也在生產基礎設施上進行。

訓練能耗

模型預訓練在H100 - 80GB（TDP為700W）類型的硬件上累計使用了738萬 GPU小時的計算資源。訓練時間是每個模型訓練所需的總GPU時間，功耗是每個GPU設備的峰值功率容量，並根據功率使用效率進行了調整。

訓練溫室氣體排放

估計基於位置的總溫室氣體排放量為1999噸 CO2eq。自2020年以來，Meta在全球運營中保持淨零溫室氣體排放，並100%使用清潔和可再生能源匹配其電力消耗，因此基於市場的總溫室氣體排放量為0噸CO2eq。

訓練能耗和溫室氣體排放的計算方法可參考 此處。由於Meta公開發布了這些模型，其他用戶不會產生訓練能耗和溫室氣體排放。

訓練數據

• 概述：Llama 4 Scout在約40萬億令牌的多模態數據上進行預訓練，Llama 4 Maverick在約22萬億令牌的多模態數據上進行預訓練。數據來源包括公開可用數據、授權數據以及Meta產品和服務中的信息，如Instagram和Facebook上的公開帖子以及用戶與Meta AI的交互。
• 數據新鮮度：預訓練數據的截止日期為2024年8月。

基準測試

預訓練模型

指令調優模型

^MMMU Pro報告的數字是標準任務和視覺任務的平均值

量化

Llama 4 Scout模型以BF16權重發布，但可以通過即時int4量化在單張H100 GPU上運行；Llama 4 Maverick模型以BF16和FP8量化權重發布。FP8量化權重可以在單臺H100 DGX主機上運行，同時保持質量。我們還提供了即時int4量化的代碼，以最大程度減少性能下降。

安全保障

模型級微調

• 微調數據：採用多方面的數據收集方法，結合供應商提供的人工生成數據和合成數據，以降低潛在的安全風險。開發了許多基於大語言模型（LLM）的分類器，以精心選擇高質量的提示和響應，加強數據質量控制。
• 拒絕率：在Llama 3模型的基礎上，著重降低Llama 4模型對良性提示的拒絕率。在安全數據策略中納入了邊界提示和對抗性提示，並修改了安全數據響應以遵循語氣指南。
• 語氣：擴展了Llama 3模型在拒絕語氣方面的工作，使模型聽起來更加自然。目標是去除說教和過度道德化的語言，並糾正格式問題，包括正確使用標題、列表、表格等。
• 系統提示：Llama 4是一個更易於引導的模型，意味著可以輕鬆調整響應以滿足特定的開發者需求。有效的系統提示可以顯著提高大語言模型的性能。特別是，我們發現使用系統提示可以有效減少誤拒絕和大語言模型中常見的模板化或“說教式”語言模式。它們還可以提高對話性和適當格式的使用。

以下是一個基本的系統提示模板，開發者可以根據具體需求或用例進行進一步定製：

Llama 4系統保護

大語言模型（包括Llama 4）不應單獨部署，而應作為整體AI系統的一部分，並根據需要添加額外的防護措施。系統保護對於實現正確的有用性 - 安全性平衡、降低系統固有的安全和風險以及將模型或系統與外部工具集成至關重要。

我們為社區提供了系統級的 保護措施，如Llama Guard、Prompt Guard和Code Shield，開發者應將這些措施與Llama模型或其他大語言模型一起部署。我們所有的 參考實現 演示默認包含這些安全保障措施，因此開發者可以直接受益於系統級的安全性。

評估

對Llama模型進行了常見用例和特定能力的評估。常見用例評估衡量了最常見構建的應用程序（包括聊天機器人、視覺問答）的系統安全風險。我們構建了專門的對抗性評估數據集，並評估了由Llama模型和Llama Guard 3組成的系統，以過濾輸入提示和輸出響應。在上下文中評估應用程序很重要，我們建議為你的用例構建專門的評估數據集。如果與應用程序相關，也可以使用Prompt Guard和Code Shield。

能力評估衡量了Llama模型特定能力固有的漏洞，為此精心設計了專門的基準測試，包括長上下文、多語言、編碼或記憶。

紅隊測試

定期進行紅隊測試，目標是通過對抗性提示發現風險，並利用這些經驗教訓改進我們的基準測試和安全調優數據集。我們早期與關鍵風險領域的主題專家合作，瞭解模型可能如何對社會造成意外危害。基於這些對話，我們為紅隊制定了一組對抗性目標，例如提取有害信息或重新編程模型以可能造成危害的方式行動。紅隊由網絡安全、對抗性機器學習和完整性方面的專家以及在特定地理市場的完整性問題方面有背景的多語言內容專家組成。

關鍵風險

我們特別關注以下關鍵風險領域：

• CBRNE（化學、生物、放射性、核和爆炸材料）有用性：為了評估Llama 4與化學和生物武器擴散相關的風險，我們應用了專家設計和其他有針對性的評估，以評估使用Llama 4是否會顯著增強惡意行為者使用此類武器策劃或實施攻擊的能力。我們還針對此風險領域的內容政策違規進行了額外的紅隊測試和評估。
• 兒童安全：作為減輕模型中兒童安全風險的第一步，我們採用了數據過濾等預訓練方法。為了評估訓練後模型的兒童安全風險，一組專家評估了模型產生可能導致兒童安全風險的輸出的能力。我們利用這些評估結果進行額外的模型微調和平深入的紅隊測試。我們還擴展了兒童安全評估基準，以涵蓋Llama 4的多圖像和多語言能力。
• 網絡攻擊啟用：我們的網絡評估調查了Llama 4是否有足夠的能力導致災難性威脅場景結果。我們進行了威脅建模練習，以確定在技能水平和速度方面，跨關鍵攻擊向量自動化操作或增強人類能力所需的特定模型能力。然後，我們確定並開發了針對這些能力的挑戰，以測試Llama 4和同類模型。具體而言，我們專注於評估Llama 4自動化網絡攻擊、識別和利用安全漏洞以及自動化有害工作流程的能力。總體而言，我們發現Llama 4模型不會引入可能導致災難性網絡結果的風險。

社區

生成式AI安全需要專業知識和工具，我們相信開放社區的力量可以加速其發展。我們是開放聯盟的積極成員，包括AI Alliance、Partnership on AI和MLCommons，積極為安全標準化和透明度做出貢獻。我們鼓勵社區採用MLCommons概念驗證評估等分類法，以促進安全和內容評估方面的合作和透明度。我們的信任工具已開源供社區使用，並廣泛分發到包括雲服務提供商在內的生態系統合作伙伴。我們鼓勵社區為我們的 Github倉庫 做出貢獻。

我們還設立了 Llama Impact Grants 計劃，以識別和支持Meta的Llama模型在三個類別中的最有吸引力的社會有益應用：教育、氣候和開放創新。數百份申請中的20名決賽選手可以在 此處 找到。

最後，我們建立了一套資源，包括 輸出報告機制 和 漏洞賞金計劃，以在社區的幫助下不斷改進Llama技術。

注意事項和侷限性

我們的AI基於言論自由的價值觀，幫助人們利用我們的技術進行探索、辯論和創新。我們尊重人們的自主權，使他們能夠選擇如何體驗、交互和構建AI。我們的AI促進思想的開放交流。

它旨在服務於所有人，並適用於廣泛的用例。因此，它設計為對具有不同背景、經驗和觀點的人都可訪問。Llama 4以用戶的實際需求為出發點，不插入不必要的判斷，同時認識到即使在某些情況下可能看似有問題的內容，在其他情況下也可能有價值。它尊重所有用戶的自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

Llama 4是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止進行的測試尚未涵蓋，也不可能涵蓋所有場景。出於這些原因，與所有大語言模型一樣，Llama 4的潛在輸出無法提前預測，並且在某些情況下，模型可能會對用戶提示產生不準確或其他令人反感的響應。因此，在部署Llama 4模型的任何應用程序之前，開發者應針對其特定的模型應用進行安全測試和調優。我們還鼓勵開源社區將Llama用於研究目的，並構建解決新興風險的先進工具。請參考可用資源，包括我們的《開發者使用指南：AI保護》、Llama保護 解決方案和其他 資源 以瞭解更多信息。

📄 許可證

本模型使用 Llama 4社區許可協議。在使用或分發Llama材料的任何部分或元素之前，請仔細閱讀並同意該協議。

⚠️ 重要提示

請確保提供完整的法定姓名、出生日期和完整的組織名稱，避免使用縮寫和特殊字符。否則可能無法訪問此模型和Hugging Face上的其他模型。提交表單後將無法編輯，請確保所有信息準確無誤。

💡 使用建議

在部署任何應用程序之前，請針對特定應用進行安全測試和調優。建議參考《開發者使用指南：AI保護》、Llama保護 解決方案和其他 資源 瞭解更多信息。