Llama 4 Maverick 17B 128E

library_name: transformers language:

• ar

• de

• en

• es

• fr

• hi

• id

• it

• pt

• th

• tl

• vi tags:

• facebook

• meta

• pytorch

• llama

• llama4 extra_gated_prompt: >- LLAMA 4 コミュニティライセンス契約

  Llama 4バージョン発効日：2025年4月5日

  「本契約」とは、Llama素材の使用、複製、頒布および改変に関する本契約に定める利用条件を意味します。

  「ドキュメンテーション」とは、Metaがhttps://www.llama.com/docs/overviewで配布するLlama 4に付随する仕様書、マニュアルおよびドキュメンテーションを意味します。

  「ライセンシー」または「あなた」とは、適用される法律、規則または規制の下で法的同意を提供するのに必要な年齢に達しており、本契約を締結するにあたり雇用主またはその他の個人・団体を代理する場合には、当該雇用主または個人・団体を法的に拘束する権限を有する、あなた、またはあなたの雇用主もしくはその他の個人・団体を意味します。

  「Llama 4」とは、https://www.llama.com/llama-downloadsでMetaが配布する基盤的大規模言語モデルおよびソフトウェア・アルゴリズム（機械学習モデルコード、学習済みモデル重み、推論用コード、学習用コード、ファインチューニング用コードならびにこれらに属するその他の要素を含む）を意味します。

  「Llama素材」とは、本契約に基づき利用可能となるMetaの所有権を有するLlama 4およびドキュメンテーション（およびその一部）の総称を意味します。

  「Meta」または「当社」とは、Meta Platforms Ireland Limited（あなたがEEAまたはスイスに所在する場合、または団体の場合に主たる事業所がEEAまたはスイスにある場合）およびMeta Platforms, Inc.（あなたがEEAまたはスイス以外に所在する場合）を意味します。

  下記の「同意する」をクリックするか、Llama素材のいかなる部分または要素を使用もしくは頒布することにより、あなたは本契約に拘束されることに同意したものとみなされます。

  1. ライセンス権利および再頒布

  a. 権利の付与。あなたは、Llama素材に具現化されたMetaの知的財産権その他の権利に基づき、Llama素材の使用、複製、頒布、複写、派生著作物の作成および改変を行うための非独占的、世界的、譲渡不能かつロイヤルティフリーの限定ライセンスを付与されます。

  b. 再頒布および使用

  i. あなたがLlama素材（またはその派生著作物）、もしくはこれらを含む製品またはサービス（他のAIモデルを含む）を頒布または提供する場合、(A)当該Llama素材に本契約の写しを添付すること、および(B)関連するウェブサイト、ユーザーインターフェース、ブログ記事、アバウトページまたは製品ドキュメンテーションにおいて「Built with Llama」を目立つように表示するものとします。Llama素材またはLlama素材の出力・結果を使用してAIモデルを作成、学習、ファインチューニングまたはその他の方法で改善し、当該AIモデルを頒布または提供する場合、当該AIモデル名の冒頭に「Llama」を含めるものとします。

  ii. あなたが統合エンドユーザー製品の一部としてライセンシーからLlama素材またはその派生著作物を受領した場合、本契約第2条はあなたには適用されません。

  iii. あなたが頒布するLlama素材のすべての複製に、以下の帰属表示通知を「Notice」テキストファイルとして含める必要があります：「Llama 4はLlama 4 Community Licenseの下でライセンスされており、著作権© Meta Platforms, Inc. 全著作権所有」

  iv. Llama素材の使用は、適用される法律および規制（貿易コンプライアンス関連の法律・規制を含む）に準拠し、Llama素材の許容使用ポリシー（https://www.llama.com/llama4/use-policyで入手可能、本契約に参照により組み込まれる）を遵守する必要があります。

  2. 追加の商業的条件。Llama 4バージョンリリース日において、ライセンシーまたはその関連会社が提供する製品・サービスの月間アクティブユーザー数が前暦月で7億月間アクティブユーザーを超える場合、Metaからライセンスを取得する必要があり、Metaが単独の裁量でこれを付与する場合を除き、本契約に基づくいかなる権利も行使する権限を有しません。

  3. 保証の否認。適用される法律で要求される場合を除き、Llama素材およびその出力・結果は「現状有姿」で提供され、いかなる種類の保証もなく、Metaは明示的か黙示的かを問わず、所有権、非侵害、商品性または特定目的適合性を含むすべての保証を否認します。Llama素材の使用または再頒布の適切性を判断する責任はあなたにあり、Llama素材およびその出力・結果の使用に伴うすべてのリスクを負担するものとします。

  4. 責任の制限。いかなる場合にも、Metaまたはその関連会社は、契約、不法行為、過失、製品責任その他の法理論に基づき、本契約から生じる逸失利益または間接的、特別、結果的、付随的、懲罰的損害について責任を負わず、かかる損害の可能性について事前に通知されていた場合でも同様とします。

  5. 知的財産

  a. 本契約に基づく商標ライセンスは付与されず、Llama素材に関連して、Metaもライセンシーも、Llama素材の記述および再頒布における合理的かつ慣習的な使用に必要な場合または本第5条(a)項に定める場合を除き、他方またはその関連会社が所有または関連する名称または商標を使用することはできません。Metaはここに、第1条(b)(i)項最終文の遵守に必要な範囲でのみ「Llama」（「標章」）の使用を許諾します。あなたはMetaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/でアクセス可能）に従うものとします。標章の使用から生じるすべての信用はMetaに帰属します。

  b. MetaがLlama素材およびMetaが作成または作成させた派生著作物を所有することを条件として、あなたが作成したLlama素材の派生著作物および改変物に関しては、あなたとMetaの間で、あなたが当該派生著作物および改変物の所有者であるものとします。

  c. あなたがLlama素材またはLlama 4の出力・結果もしくはその一部が、あなたが所有またはライセンス可能な知的財産権その他の権利を侵害すると主張してMetaまたはいかなる団体に対しても訴訟その他の手続（訴訟における反訴または交叉請求を含む）を提起した場合、本契約に基づきあなたに付与されたすべてのライセンスは、当該訴訟または請求が提起または開始された日をもって終了します。あなたは、Llama素材の使用または頒布から生じるまたは関連する第三者による請求からMetaを免責し、保護するものとします。

  6. 期間および終了。本契約の期間は、あなたが本契約を承諾した時点またはLlama素材にアクセスした時点から開始し、本契約の条件に従い終了するまで完全な効力を有します。Metaは、あなたが本契約のいかなる条件に違反した場合、本契約を終了することができます。本契約終了時、あなたはLlama素材の使用を中止し削除するものとします。第3条、第4条および第7条は、本契約終了後も存続します。

  7. 準拠法および管轄。本契約はカリフォルニア州法に準拠し解釈されるものとし、国際物品売買契約に関する国連条約は適用されません。本契約から生じるいかなる紛争についてもカリフォルニア州の裁判所が専属的管轄権を有します。 extra_gated_fields: 名: text 姓: text 生年月日: date_picker 国: country 所属: text 職位: type: select options:

  • 学生
  • 大学院研究者
  • AI研究者
  • AI開発者/エンジニア
  • 記者
  • その他 geo: ip_location 下記の「送信」をクリックすることで、ライセンス条件に同意し、提供する情報がMetaプライバシーポリシーに従って収集、保存、処理および共有されることを確認します: checkbox extra_gated_description: >- 提供いただく情報は、Metaプライバシーポリシーに従って収集、保存、処理および共有されます。 extra_gated_button_content: 送信 extra_gated_heading: "必ず正式な法的氏名、生年月日、およびすべての法人識別子を含む完全な組織名を提供してください。略語や特殊文字の使用は避けてください。これらの指示に従わない場合、このモデルおよびHugging Face上の他のモデルにアクセスできなくなる可能性があります。送信後はこのフォームを編集できないため、すべての情報が正確であることを確認してください。" license: other license_name: llama4

モデル情報

Llama 4モデル群は、テキストとマルチモーダル体験を可能にするネイティブマルチモーダルAIモデルです。これらのモデルは混合専門家(MoE)アーキテクチャを活用し、テキストおよび画像理解において業界をリードする性能を提供します。

Llama 4モデルはLlamaエコシステムの新時代の始まりを示すものです。Llama 4シリーズでは2つの効率的なモデルをリリースしています：16の専門家を有する170億パラメータモデル「Llama 4 Scout」と、128の専門家を有する170億パラメータモデル「Llama 4 Maverick」です。

モデル開発者: Meta

モデルアーキテクチャ: Llama 4モデルは、混合専門家(MoE)アーキテクチャを採用し、ネイティブマルチモーダリティのために早期融合を取り入れた自己回帰型言語モデルです。

対応言語: アラビア語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、イタリア語、ポルトガル語、スペイン語、タガログ語、タイ語、ベトナム語。

モデルリリース日: 2025年4月5日

ステータス: これはオフラインデータセットで学習された静的モデルです。コミュニティフィードバックに基づきモデル動作を改善するため、調整済みモデルの将来バージョンがリリースされる可能性があります。

ライセンス: カスタム商用ライセンスであるLlama 4 Community License Agreementがhttps://github.com/meta-llama/llama-models/blob/main/models/llama4/LICENSEで利用可能です。

モデルに関する質問やコメントの送信先: モデルに関するフィードバックやコメントを提供する方法の説明はLlamaのREADMEに記載されています。生成パラメータに関する技術情報やLlama 4をアプリケーションで使用するためのレシピについては、こちらをご覧ください。

想定用途

想定使用ケース: Llama 4は多言語での商用および研究用途を想定しています。指示調整済みモデルはアシスタント的なチャットや視覚的推論タスク向けであり、事前学習済みモデルは自然言語生成に適応可能です。視覚に関しては、Llama 4モデルは視覚認識、画像推論、キャプション作成、画像に関する一般的な質問への回答にも最適化されています。Llama 4モデル群は、合成データ生成や蒸留を含む他のモデルを改善するためのモデル出力活用能力もサポートします。Llama 4 Community Licenseはこれらの使用ケースを許可しています。

対象外: 適用される法律または規制（貿易コンプライアンス法を含む）に違反する方法での使用。許容使用ポリシーおよびLlama 4 Community Licenseで禁止されている他の方法での使用。このモデルカードで明示的にサポートされていない言語や機能での使用**。

**注:

1. Llama 4は12のサポート言語（事前学習には合計200言語が含まれます）よりも広範な言語で学習されています。開発者は、Llama 4 Community Licenseおよび許容使用ポリシーに準拠する限り、12のサポート言語を超える言語でLlama 4モデルをファインチューニングできます。追加言語でのLlama 4使用が安全かつ責任ある方法で行われることを開発者が責任を持って確認する必要があります。

2. Llama 4は最大5枚の入力画像までの画像理解についてテストされています。これ以上の画像理解機能を活用する場合、開発者はリスクを軽減するための展開を行い、特定のアプリケーションに合わせた追加のテストと調整を実施する責任があります。

transformersでの使用方法

transformers v4.51.0 がインストールされていることを確認するか、pip install -U transformers でアップグレードしてください。

from transformers import pipeline
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E"

pipe = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

output = pipe("バラは赤い、", max_new_tokens=200)

ハードウェアとソフトウェア

学習要因: 事前学習には、カスタム学習ライブラリ、Metaの独自構築GPUクラスター、および本番インフラを使用しました。ファインチューニング、量子化、アノテーション、評価も本番インフラで実施されました。

学習エネルギー使用量: モデル事前学習には、下表の通りH100-80GB（TDP 700W）タイプのハードウェアで累計7.38M GPU時間の計算を利用しました。学習時間は各モデルの学習に必要な総GPU時間であり、電力消費は使用GPUデバイスごとのピーク電力容量で、電力使用効率を考慮して調整されています。

学習温室効果ガス排出量: 場所ベースの温室効果ガス排出量の推定総量は学習で1,999トン CO2eqでした。2020年以降、Metaはグローバル事業でネットゼロの温室効果ガス排出量を維持し、電力使用の100%をクリーンで再生可能なエネルギーで賄っているため、学習の市場ベースの温室効果ガス排出量は0トンCO2eqでした。

学習エネルギー使用量と温室効果ガス排出量を決定するために使用された方法論はこちらで確認できます。Metaがこれらのモデルを公開しているため、学習エネルギー使用量と温室効果ガス排出量は他者が負担する必要はありません。

学習データ

概要: Llama 4 Scoutは約40兆トークン、Llama 4 Maverickは約22兆トークンのマルチモーダルデータで事前学習されました。データは公開可能なデータ、ライセンスデータおよびMetaの製品・サービスからの情報の混合で、InstagramやFacebookから公開共有された投稿や、人々のMeta AIとのやり取りが含まれます。

データ鮮度: 事前学習データのカットオフは2024年8月です。

ベンチマーク

このセクションでは、以前のモデルに対するLlama 4の結果を報告します。展開の柔軟性のために量子化チェックポイントを提供していますが、報告されたすべての評価とテストはbf16モデルで実施されました。

事前学習済みモデル

指示調整済みモデル

^MMMU Proの報告数値は標準タスクと視覚タスクの平均です

量子化

Llama 4 ScoutモデルはBF16重みとしてリリースされていますが、オンザフライint4量子化により単一のH100 GPUに収まります。Llama 4 MaverickモデルはBF16とFP8量子化重みの両方でリリースされています。FP8量子化重みは単一のH100 DGXホストに収まりながら品質を維持します。また、性能劣化を最小限に抑えるオンザフライint4量子化のコードも提供しています。

セーフガード

リリースアプローチの一環として、リスク管理のために3つの戦略を採用しました：

• 開発者が対象ユーザーおよびLlamaがサポートする使用ケース向けに有用で安全かつ柔軟な体験を展開できるようにする
• 悪意のあるユーザーがLlamaの能力を悪用して危害を加える可能性から開発者を保護する
• モデルの誤用を防ぐためのコミュニティ保護を提供する

Llamaは多様な使用ケースでの利用を想定した基盤技術です。MetaのLlamaモデルがどのように展開されているかの例はコミュニティストーリーウェブページで確認できます。私たちのアプローチは、標準的なリスクセットに対してモデルの安全性を調整することで、世界が技術の恩恵を受けられる最も有用なモデルを構築することです。その後、開発者は自らの使用ケースに合わせて安全性を調整し、必要なセーフガードと共にモデルを展開する主導権を握ります。Llama 4は開発者利用ガイド：AI保護で概説されているベストプラクティスに従って開発されました。

モデルレベルのファインチューニング

安全性ファインチューニングを実施する主な目的は、開発者がさまざまなアプリケーション向けにすぐに利用可能で安全かつ強力なモデルを提供し、安全なAIシステムを展開するために必要な作業負荷を軽減することです。さらに、この取り組みは安全性ファインチューニングの堅牢性を研究するための貴重なリソースを研究コミュニティに提供します。

ファインチューニングデータ
潜在的な安全リスクを軽減するため、ベンダーからの人間生成データと合成データを組み合わせた多面的なデータ収集アプローチを採用しています。データ品質管理を強化するため、高品質なプロンプトとレスポンスを慎重に選択できる多数の大規模言語モデル(LLM)ベースの分類器を開発しました。

拒否
Llama 3モデルで開始した作業を基に、Llama 4では良性プロンプトに対するモデルの拒否率を大幅に低下させることに重点を置きました。安全性データ戦略には境界線的および敵対的プロンプトを含め、トーンガイドラインに従うよう安全性データレスポンスを修正しました。

トーン
Llama 3の拒否トーンに関する作業を拡張し、モデルがより自然に聞こえるようにしました。説教的で道徳的に過ぎる言語の削除を目標とし、ヘッダー、リスト、表などの正しい使用を含むフォーマット問題を修正しました。

これを達成するため、システムプロンプトの操縦性と指示追従の改善も目標とし、モデルが指定されたトーンをより容易に取り込めるようにしました。これらすべてが、より会話的で洞察に富んだ全体的な体験に貢献します。

システムプロンプト
Llama 4はより操縦可能なモデルであり、レスポンスを特定の開発者成果に合わせて簡単に調整できます。効果的なシステムプロンプトは大規模言語モデルの性能を大幅に向上させることができます。特に、システムプロンプトの使用は、LLMに共通する誤った拒否や定型化された「説教的」な言語パターンを減らすのに有効であることがわかりました。また、会話性や適切なフォーマットの使用も改善できます。

以下のプロンプトは、開発者がLlama 4モデルの特定のニーズや使用ケースに合わせてさらにカスタマイズするための基本的なテンプレートとして検討してください。

Llama 4システム保護

Llama 4を含む大規模言語モデルは、単独で展開されるようには設計されておらず、必要な追加のガードレールを含む全体的なAIシステムの一部として展開されるべきです。システム保護は、適切な有用性-安全性の調整を達成し、システムに固有の安全性とセキュリティリスクを軽減し、モデルまたはシステムと外部ツールの統合を行うために重要です。

私たちは、開発者がLlamaモデルまたは他のLLMと共に展開すべきシステムレベルの保護（Llama Guard、Prompt Guard、Code Shieldなど）をコミュニティに提供しています。すべてのリファレンス実装デモにはこれらのセーフガードがデフォルトで含まれており、開発者はシステムレベルの安全性をすぐに利用できます。

評価

Llamaモデルを一般的な使用ケースおよび特定の能力について評価しました。一般的な使用ケース評価は、チャットボット、視覚的QAなど、最も一般的に構築されるアプリケーションのシステム安全性リスクを測定します。専用の敵対的評価データセットを構築し、入力プロンプトと出力レスポンスをフィルタリングするLlamaモデルとLlama Guard 3で構成されるシステムを評価しました。アプリケーションを文脈で評価することが重要であり、使用ケースに特化した評価データセットを構築することをお勧めします。Prompt GuardとCode Shieldも、アプリケーションに関連する場合は利用可能です。
能力評価は、長文脈、多言語、コーディング、記憶など、Llamaモデルに固有の脆弱性を測定するため、専用のベンチマークを作成しました。

レッドチーミング
敵対的プロンプトを通じてリスクを発見し、その知見をベンチマークと安全性チューニングデータセットの改善に活用するため、定期的なレッドチーミング演習を実施しています。重要なリスク領域の専門家と早期に連携し、モデルが社会に意図しない害をもたらす可能性を理解します。これらの対話に基づき、有害情報の抽出やモデルを潜在的に有害な方法で動作させるよう再プログラミングするなど、レッドチームの敵対的目標セットを導出します。レッドチームは、サイバーセキュリティ、敵対的機械学習、整合性の専門家に加え、特定の地理的市場における整合性問題の背景を持つ多言語コンテンツ専門家で構成されています。

重大リスク

以下の重大リスク領域に特に重点を置いています：

1. CBRNE（化学、生物、放射能、核、爆発物）材料の有用性
Llama 4に関連する化学および生物兵器の拡散リスクを評価するため、Llama 4の使用が悪意のある行為者がこの種の兵器を使用した攻撃を計画または実行する能力を有意に高める可能性があるかどうかを評価する専門家設計およびその他の対象評価を適用しました。また、このリスク領域に関連するコンテンツポリシー違反について追加のレッドチーミングと評価を実施しました。

2. 児童安全
データフィルタリングなどの事前学習方法を、モデルにおける児童安全リスク軽減の第一段階として活用しています。学習後のモデルの児童安全リスクを評価するため、専門家チームがモデルが児童安全リスクをもたらす出力を生成する能力を評価します。これを使用して追加のモデルファインチューニングと詳細なレッドチーミング演習を情報提供します。また、複数画像や多言語などLlama 4の能力をカバーする児童安全評価ベンチマークを拡張しました。

3. サイバー攻撃の容易化
私たちのサイバー評価では、Llama 4が壊滅的な脅威シナリオの結果を可能にするのに十分な能力があるかどうかを調査しました。主要な攻撃ベクトルにおいて、スキルレベルと速度の両面で操作を自動化または人間の能力を強化するために必要な特定のモデル能力を特定するため、脅威モデリング演習を実施しました。その後、Llama 4および同類モデルでこれらの能力をテストするための課題を特定し開発しました。具体的には、Llama 4がサイバー攻撃を自動化し、セキュリティ脆弱性を特定・悪用し、有害なワークフローを自動化する能力を評価することに重点を置きました。全体として