Llama 4 Maverick 17B 128E Instruct FP8

library_name: transformers language:

• ar

• de

• en

• es

• fr

• hi

• id

• it

• pt

• th

• tl

• vi base_model:

• meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 base_model_relation: quantized tags:

• facebook

• meta

• pytorch

• llama

• llama4 extra_gated_prompt: >- LLAMA 4 コミュニティライセンス契約

  Llama 4 バージョン発効日: 2025年4月5日

  「本契約」とは、Llama素材の使用、複製、配布および改変に関する本契約に定める条件を意味します。

  「ドキュメンテーション」とは、Metaがhttps://www.llama.com/docs/overviewで配布するLlama 4に付随する仕様書、マニュアルおよびドキュメンテーションを意味します。

  「ライセンシー」または「あなた」とは、適用される法律、規則または規制の下で法的同意を提供するのに必要な年齢に達しており、あなたが本契約をその代理人として締結する場合には、あなたの雇用主またはその他の個人または団体を法的に拘束する権限を有する、あなた、またはあなたの雇用主またはその他の個人または団体を意味します。

  「Llama 4」とは、https://www.llama.com/llama-downloadsでMetaが配布する、機械学習モデルコード、訓練済みモデルウェイト、推論を可能にするコード、訓練を可能にするコード、ファインチューニングを可能にするコードおよびその他の要素を含む、基盤となる大規模言語モデルおよびソフトウェアとアルゴリズムを意味します。

  「Llama素材」とは、本契約の下で提供されるMetaの所有するLlama 4およびドキュメンテーション（およびその一部）を総称して意味します。

  「Meta」または「当社」とは、Meta Platforms Ireland Limited（あなたが所在する地域、または団体の場合には主たる事業所がEEAまたはスイスにある場合）およびMeta Platforms, Inc.（あなたがEEAまたはスイス以外に所在する場合）を意味します。

  下記の「同意する」をクリックするか、Llama素材のいかなる部分または要素を使用または配布することにより、あなたは本契約に拘束されることに同意するものとします。

  1. ライセンス権利および再配布

  a. 権利の付与。あなたは、Llama素材に具現化されたMetaの知的財産権またはその他のMetaが所有する権利に基づき、Llama素材を使用、複製、配布、コピー、派生作品の作成および改変を行うための非独占的、世界的、非譲渡的かつロイヤリティフリーの限定ライセンスを付与されます。

  b. 再配布および使用

  i. あなたがLlama素材（またはその派生作品）またはそれらを含む製品またはサービス（他のAIモデルを含む）を配布または提供する場合、(A) そのようなLlama素材に本契約の写しを添付すること、および (B) 関連するウェブサイト、ユーザーインターフェース、ブログ記事、アバウトページまたは製品ドキュメンテーション上で「Built with Llama」を目立つように表示するものとします。あなたがLlama素材またはLlama素材の出力または結果を使用して、配布または提供されるAIモデルを作成、訓練、ファインチューニングまたはその他の方法で改善する場合、そのようなAIモデルの名称の冒頭に「Llama」を含めるものとします。

  ii. あなたが統合されたエンドユーザー製品の一部としてライセンシーからLlama素材またはその派生作品を受領する場合、本契約の第2条はあなたには適用されません。

  iii. あなたが配布するLlama素材のすべてのコピーに、そのようなコピーの一部として配布される「Notice」テキストファイル内に次の帰属表示を保持するものとします：「Llama 4はLlama 4 Community Licenseの下でライセンスされており、著作権 © Meta Platforms, Inc. 全著作権所有。」

  iv. あなたのLlama素材の使用は、適用される法律および規制（貿易コンプライアンスに関する法律および規制を含む）に準拠し、Llama素材の許容可能な使用ポリシー（https://www.llama.com/llama4/use-policyで入手可能）に従うものとします。このポリシーは本契約に参照により組み込まれます。

  2. 追加の商業的条件。Llama 4バージョンのリリース日において、ライセンシーまたはライセンシーの関連会社によって提供される製品またはサービスの月間アクティブユーザーが前暦月において7億人を超える場合、あなたはMetaからライセンスを請求する必要があり、Metaはその単独の裁量でこれを付与する場合があります。Metaが明示的にそのような権利を付与しない限り、あなたは本契約に基づくいかなる権利も行使する権限を有しません。

  3. 保証の否認。適用される法律で要求されない限り、Llama素材およびその出力と結果は「現状有姿」で提供され、いかなる種類の保証もなく、Metaは明示的または黙示的を問わず、所有権、非侵害、商品性または特定の目的への適合性を含むがこれに限られない、いかなる種類の保証も否認します。あなたはLlama素材の使用または再配布の適切性を独自に判断する責任を負い、Llama素材およびその出力と結果の使用に伴ういかなるリスクも負担するものとします。

  4. 責任の制限。いかなる場合にも、Metaまたはその関連会社は、契約、不法行為、過失、製品責任またはその他の如何なる責任理論に基づいても、本契約に起因する利益の喪失または間接的、特別、結果的、付随的、懲罰的または模範的損害について責任を負わず、Metaまたはその関連会社がそのような損害の可能性について知らされていた場合でも同様とします。

  5. 知的財産

  a. 本契約に基づく商標ライセンスは付与されず、Llama素材に関連して、Metaもライセンシーも、Llama素材の説明および再配布における合理的かつ慣習的な使用に必要な場合または本第5条(a)に定める場合を除き、相手方またはその関連会社が所有または関連付けるいかなる名称または商標も使用してはなりません。Metaはここに、第1条(b)(i)の最後の文を遵守するために必要な範囲でのみ「Llama」（「商標」）を使用するライセンスをあなたに付与します。あなたはMetaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/でアクセス可能）に従うものとします。あなたの商標の使用から生じるすべての信用はMetaに帰属します。

  b. MetaがLlama素材およびMetaが作成またはMetaのために作成された派生作品を所有することに従い、あなたが作成したLlama素材の派生作品および改変に関して、あなたとMetaの間では、あなたがそのような派生作品および改変の所有者であり、今後も所有者であるものとします。

  c. あなたがMetaまたはいかなる団体（訴訟における交叉請求または反訴を含む）に対して、Llama素材またはLlama 4の出力または結果、またはそのいずれかの一部が、あなたが所有またはライセンス可能な知的財産権またはその他の権利の侵害を構成すると主張する訴訟またはその他の手続きを提起する場合、本契約に基づいてあなたに付与されたすべてのライセンスは、そのような訴訟または請求が提起または開始された日をもって終了します。あなたは、Llama素材の使用または配布に起因または関連して第三者から生じるいかなる請求からもMetaを免責し、保護するものとします。

  6. 期間および終了。本契約の期間は、あなたが本契約を承諾した時またはLlama素材にアクセスした時に開始し、本契約に定める条件に従って終了するまで完全な効力を有して継続します。Metaは、あなたが本契約のいかなる条項または条件に違反した場合、本契約を終了することができます。本契約の終了時に、あなたはLlama素材の使用を停止し、削除するものとします。第3条、第4条および第7条は、本契約の終了後も存続します。

  7. 準拠法および管轄権。本契約は、国際物品売買契約に関する国際連合条約を適用除外として、カリフォルニア州の法律に基づき解釈され、その法律によって規律されます。本契約から生じるいかなる紛争についても、カリフォルニア州の裁判所が専属的管轄権を有します。 extra_gated_fields: 名: text 姓: text 生年月日: date_picker 国: country 所属: text 職種: type: select options:

  • 学生
  • 大学院生
  • AI研究者
  • AI開発者/エンジニア
  • 記者
  • その他 geo: ip_location 下記の「送信」をクリックすることで、ライセンスの条件に同意し、提供した情報がMetaプライバシーポリシーに従って収集、保存、処理および共有されることを承認します: checkbox extra_gated_description: >- 提供いただいた情報は、Metaプライバシーポリシーに従って収集、保存、処理および共有されます。 extra_gated_button_content: 送信 extra_gated_heading: "完全な法的姓名、生年月日、およびすべての企業識別子を含む完全な組織名を必ず提供してください。頭字語や特殊文字の使用は避けてください。これらの指示に従わない場合、このモデルやHugging Face上の他のモデルにアクセスできなくなる可能性があります。このフォームは送信後に編集できませんので、すべての情報が正確であることを確認してください。" license: other license_name: llama4

モデル情報

Llama 4モデルコレクションは、テキストとマルチモーダル体験を可能にするネイティブマルチモーダルAIモデルです。これらのモデルは、専門家混合（Mixture-of-Experts）アーキテクチャを活用し、テキストおよび画像理解において業界をリードする性能を提供します。

これらのLlama 4モデルは、Llamaエコシステムの新たな時代の始まりを示しています。Llama 4シリーズでは、2つの効率的なモデルをリリースしています：16の専門家を持つ170億パラメータモデルであるLlama 4 Scoutと、128の専門家を持つ170億パラメータモデルであるLlama 4 Maverickです。

モデル開発者: Meta

モデルアーキテクチャ: Llama 4モデルは、専門家混合（MoE）アーキテクチャを使用し、ネイティブマルチモーダリティのために早期融合を組み込んだ自己回帰型言語モデルです。

対応言語: アラビア語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、イタリア語、ポルトガル語、スペイン語、タガログ語、タイ語、ベトナム語。

モデルリリース日: 2025年4月5日

ステータス: これはオフラインデータセットで訓練された静的モデルです。調整モデルの将来のバージョンは、コミュニティのフィードバックに基づいてモデルの動作を改善する際にリリースされる可能性があります。

ライセンス: カスタム商用ライセンスであるLlama 4 Community License Agreementは、https://github.com/meta-llama/llama-models/blob/main/models/llama4/LICENSEで入手可能です。

モデルに関する質問やコメントの送信先: モデルに関するフィードバックやコメントを提供する方法の説明は、LlamaのREADMEに記載されています。生成パラメータに関する技術情報や、Llama 4をアプリケーションで使用するためのレシピについては、こちらをご覧ください。

transformersでの使用方法

transformers v4.51.0 がインストールされていることを確認するか、pip install -U transformers を使用してアップグレードしてください。

from transformers import AutoTokenizer, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8"

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)

model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    tp_plan="auto",
    torch_dtype="auto",
)

outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)
outputs = tokenizer.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])
print(outputs[0])

意図された使用法

意図された使用例: Llama 4は、複数の言語での商業および研究用途を意図しています。命令調整モデルは、アシスタントのようなチャットや視覚的推論タスクを目的としており、事前訓練モデルは自然言語生成に適応できます。視覚に関して、Llama 4モデルは視覚認識、画像推論、キャプション作成、および画像に関する一般的な質問への回答にも最適化されています。Llama 4モデルコレクションは、合成データ生成や蒸留を含む他のモデルを改善するためにそのモデルの出力を活用する能力もサポートしています。Llama 4 Community Licenseはこれらの使用例を許可しています。

範囲外: 適用される法律または規制（貿易コンプライアンス法を含む）に違反する方法での使用。許容可能な使用ポリシーおよびLlama 4 Community Licenseで禁止されている他の方法での使用。このモデルカードで明示的にサポートされていると記載されている言語や能力を超えた使用。

注:

1. Llama 4は、12のサポート言語（事前訓練には合計200言語が含まれます）よりも広範な言語で訓練されています。開発者は、Llama 4 Community Licenseおよび許容可能な使用ポリシーに準拠する限り、12のサポート言語を超える言語でLlama 4モデルをファインチューニングすることができます。開発者は、追加の言語でのLlama 4の使用が安全かつ責任ある方法で行われることを確保する責任を負います。

2. Llama 4は、最大5つの入力画像までの画像理解についてテストされています。これ以上の画像理解機能を活用する場合、開発者はリスクを軽減するための展開を行い、特定のアプリケーションに合わせた追加のテストと調整を実施する責任を負います。

ハードウェアとソフトウェア

訓練要因: 事前訓練には、カスタム訓練ライブラリ、Metaの独自構築GPUクラスター、および本番インフラを使用しました。ファインチューニング、量子化、アノテーション、および評価も本番インフラで実施されました。

訓練エネルギー使用量: モデルの事前訓練には、以下の表に示すように、H100-80GB（TDP 700W）タイプのハードウェアで累計7.38M GPU時間の計算が使用されました。訓練時間は各モデルの訓練に必要な総GPU時間であり、電力消費は使用されたGPUデバイスごとのピーク電力容量で、電力使用効率に応じて調整されています。

訓練温室効果ガス排出量: 訓練に伴う場所ベースの温室効果ガス排出量の総計は1,999トン CO2eqと推定されました。2020年以降、Metaはグローバルな事業においてネットゼロの温室効果ガス排出量を維持し、電力使用の100%をクリーンおよび再生可能エネルギーで賄っているため、訓練に伴う市場ベースの温室効果ガス排出量の総計は0トン CO2eqでした。

訓練エネルギー使用量および温室効果ガス排出量を決定するために使用された方法論はこちらで確認できます。Metaがこれらのモデルを公開しているため、訓練エネルギー使用量および温室効果ガス排出量は他の者によって発生することはありません。

訓練データ

概要: Llama 4 Scoutは約40兆トークンのマルチモーダルデータで、Llama 4 Maverickは約22兆トークンのマルチモーダルデータで事前訓練されました。これには、公開されているデータ、ライセンスデータ、およびMetaの製品とサービスからの情報の混合が含まれます。これにはInstagramやFacebookから公開共有された投稿や、人々のMeta AIとのやり取りが含まれます。

データの新鮮さ: 事前訓練データのカットオフは2024年8月です。

ベンチマーク

このセクションでは、以前のモデルに対するLlama 4の結果を報告します。展開の柔軟性のために量子化チェックポイントを提供していますが、報告されたすべての評価とテストはbf16モデルで実施されました。

事前訓練モデル

命令調整モデル

^MMMU Proの報告数値は標準タスクと視覚タスクの平均です

量子化

Llama 4 ScoutモデルはBF16ウェイトとしてリリースされていますが、オンデマンドint4量子化により単一のH100 GPUに収まります。Llama 4 MaverickモデルはBF16およびFP8量子化ウェイトの両方でリリースされています。FP8量子化ウェイトは単一のH100 DGXホストに収まりながら品質を維持します。また、性能低下を最小限に抑えるオンデマンドint4量子化のコードも提供しています。

セーフガード

リリースアプローチの一環として、リスク管理のために3つの戦略を採用しました:

• 開発者が対象ユーザーおよびLlamaがサポートする使用例向けに有用で安全かつ柔軟な体験を展開できるようにすること。
• 潜在的な危害を引き起こす可能性のあるLlamaの能力を悪用しようとする敵対的なユーザーから開発者を保護すること。
• コミュニティに当社のモデルの誤用を防ぐための保護を提供すること。

Llamaは様々な使用例で使用されることを意図した基盤技術です。MetaのLlamaモデルがどのように展開されているかの例は、コミュニティストーリーウェブページで確認できます。当社のアプローチは、標準的なリスクセットに対してモデルの安全性を調整することで、世界が技術から利益を得られる最も有用なモデルを構築することです。その後、開発者が自らの使用例に合わせて安全性を調整し、必要なセーフガードとともにモデルを展開する主導権を握ります。Llama 4は、開発者使用ガイド: AI保護に概説されているベストプラクティスに従って開発されました。

モデルレベルのファインチューニング

安全性ファインチューニングを実施する主な目的は、開発者がさまざまなアプリケーション向けにすぐに使用可能で安全かつ強力なモデルを利用できるようにし、安全なAIシステムを展開するために必要な作業量を削減することです。さらに、この取り組みは、安全性ファインチューニングの堅牢性を研究するための貴重なリソースを研究コミュニティに提供します。

ファインチューニングデータ
データ収集には多面的なアプローチを採用し、ベンダーからの人間生成データと合成データを組み合わせて潜在的な安全リスクを軽減します。多くの大規模言語モデル（LLM）ベースの分類器を開発し、高品質のプロンプトとレスポンスを慎重に選択することで、データ品質管理を強化しました。

拒否
Llama 3モデルで開始した作業に基づき、Llama 4では良性プロンプトに対するモデルの拒否を大幅に減らすことに重点を置きました。安全性データ戦略には境界線および敵対的プロンプトを含め、安全性データレスポンスをトーンガイドラインに従うように修正しました。

トーン
Llama 3での拒否トーンに関する作業を拡張し、モデルがより自然に聞こえるようにしました。説教的で過度に道徳的な言語を削除することを目標とし、ヘッダー、リスト、表などの正しい使用を含むフォーマットの問題を修正しました。

これを達成するために、システムプロンプトの操縦性と命令追従の改善も目標とし、モデルが指定されたトーンをより容易に採用できるようにしました。これらすべてが、より会話的で洞察に富んだ体験全体に貢献します。

システムプロンプト
Llama 4はより操縦可能なモデルであり、レスポンスを特定の開発者成果に合わせて簡単に調整できます。効果的なシステムプロンプトは、大規模言語モデルのパフォーマンスを大幅に向上させることができます。特に、システムプロンプトの使用は、LLMに共通する偽の拒否やテンプレート化された「説教的」な言語パターンを減らすのに効果的です。また、会話性や適切なフォーマットの使用も改善できます。

以下のプロンプトは、開発者が当社のLlama 4モデルの特定のニーズや使用例にさらにカスタマイズするための基本的なテンプレートとして検討してください。

Llama 4システム保護

大規模言語モデル、Llama 4を含む、は単独で展開されるようには設計されておらず、追加のガードレールが必要なAIシステム全体の一部として展開されるべきです。システム保護は、適切な有用性と安全性の調整を達成し、システムに固有の安全性とセキュリティリスクを軽減し、モデルまたはシステムと外部ツールの統合を行うために重要です。

当社は、開発者がLlamaモデルまたは他のLLMとともに展開すべきシステムレベルの保護（Llama Guard、Prompt Guard、Code Shieldなど）をコミュニティに提供します。すべてのリファレンス実装デモには、これらのセーフガードがデフォルトで含まれているため、開発者はシステムレベルの安全性をすぐに利用できます。

評価

Llamaモデルを一般的な使用例および特定の能力について評価しました。一般的な使用例評価は、チャットボット、視覚的QAなど、最も一般的に構築されるアプリケーションのシステムの安全リスクを測定します。専用の敵対的評価データセットを構築し、入力プロンプトと出力レスポンスをフィルタリングするLlamaモデルとLlama Guard 3で構成されるシステムを評価しました。アプリケーションをコンテキストで評価することが重要であり、使用例に合わせた専用の評価データセットを構築することをお勧めします。Prompt GuardとCode Shieldも、アプリケーションに関連する場合に利用可能です。
能力評価は、長文コンテキスト、多言語、コーディング、または記憶など、特定の能力に固有のLlamaモデルの脆弱性を測定し、これらに対して専用のベンチマークを作成しました。

レッドチーミング
敵対的プロンプトを通じてリスクを発見することを目的とした定期的なレッドチーミング演習を実施し、その知見を使用してベンチマークと安全性チューニングデータセットを改善します。重要なリスク領域の主題専門家と早期に協力し、モデルが社会に意図しない危害を引き起こす可能性を理解します。これらの議論に基づいて、有害な情報の抽出やモデルを潜在的に有害な方法で動作させるように再プログラムするなど、レッドチームの敵対的目標のセットを導き出します。レッドチームは、サイバーセキュリティ、敵対的機械学習、整合性の専門家に加え、特定の地理的市場における整合性問題の背景を持つ多言語コンテンツ専門家で構成されています。

重大リスク

以下の重大リスク領域に特に重点を置いています:

1. CBRNE（化学、生物、放射能、核、爆発物）有用性
Llama 4に関連する化学および生物兵器の拡散リスクを評価するために、専門家が設計した評価およびその他の対象評価を適用し、Llama 4の使用が悪意のある行為者がこの種の兵器を使用した攻撃を計画または実行する能力を有意に増加させる可能性があるかどうかを評価しました。また、このリスク領域に関連するコンテンツポリシー違反について追加のレッドチーミングと評価