Llama 4 Scout 17B 16E Instruct FP8

🚀 Llama 4モデル - マルチモーダルAIの新体験

Llama 4シリーズモデルは、ネイティブなマルチモーダルAIモデルで、テキストとマルチモーダルの対話体験を提供します。これらのモデルは、ハイブリッドエキスパートアーキテクチャを採用しており、テキストと画像の理解能力に優れており、Llamaエコシステムの新しい時代を切り開きます。

🚀 クイックスタート

依存関係のインストール

transformersライブラリのv4.51.0バージョンがインストールされていることを確認してください。インストールされていない場合は、以下のコマンドを使用してアップグレードしてください。

pip install -U transformers

使用例

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Scout-17B-16E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "Can you describe how these two images are similar, and how they differ?"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

✨ 主な機能

• マルチモーダル能力：テキストと画像などのマルチモーダル入出力をサポートし、画像理解や視覚推論などのタスクに使用できます。
• ハイブリッドエキスパートアーキテクチャ：MoEアーキテクチャを採用し、テキストと画像の理解能力に優れています。
• 高効率モデル：Llama 4 ScoutとLlama 4 Maverickの2つの170億パラメータの高効率モデルを提供しています。

📦 モデル情報

モデル開発者

Meta

モデルアーキテクチャ

Llama 4モデルは、自己回帰型言語モデルで、ハイブリッドエキスパート（MoE）アーキテクチャを採用し、早期融合を組み合わせることでネイティブなマルチモーダル機能を実現しています。

モデルパラメータ詳細

サポート言語

アラビア語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、イタリア語、ポルトガル語、スペイン語、タガログ語、タイ語、ベトナム語

モデル公開日

2025年4月5日

モデル状態

これはオフラインデータセットで訓練された静的モデルです。コミュニティからのフィードバックを収集し、モデル性能を改善するため、将来的に調整されたバージョンが公開される可能性があります。

ライセンス

カスタム商用ライセンス、つまりLlama 4コミュニティライセンス契約。詳細はhttps://github.com/meta-llama/llama-models/blob/main/models/llama4/LICENSEを参照してください。

フィードバックチャネル

モデルに関するフィードバックや提案は、LlamaのREADMEを参照してください。生成パラメータやLlama 4をアプリケーションで使用するための技術情報については、こちらを訪問してください。

📚 ドキュメント

想定用途

想定使用例

• 商用と研究：多言語対応の商用および研究アプリケーションをサポートします。
• 対話と推論：命令調整モデルは、アシスタントのようなチャットや視覚推論タスクに適しています。
• 自然言語生成：事前学習モデルは、自然言語生成に使用できます。
• 視覚タスク：視覚認識、画像推論、画像記述、画像関連の質問に回答するのに適しています。
• モデル改善：他のモデルの改善に利用できます。合成データ生成や蒸留などの技術を使用して、他のモデルを改善することができます。

非想定用途

• 適用される法律や規制（貿易コンプライアンス法律を含む）に違反する使用。
• 許容使用ポリシーやLlama 4コミュニティライセンス契約に違反する使用。
• このモデルカードで明示的にサポートされている言語や機能を超える使用。

注意事項

1. Llama 4は、12種類以上のサポート言語を含むより広範な言語セットで訓練されています（事前学習には200種類の言語が含まれています）。開発者は、Llama 4コミュニティライセンス契約と許容使用ポリシーに従って、モデルを微調整してより多くの言語をサポートすることができます。ただし、使用方法が安全で信頼できることを確認する必要があります。
2. Llama 4は、画像理解において最大5枚の入力画像でテストされています。より多くの画像理解機能を使用する場合は、開発者は独自でリスクを評価し、特定のアプリケーションに対して追加のテストと調整を行う必要があります。

🔧 技術詳細

訓練要因

• 事前学習には、カスタム訓練ライブラリ、Meta独自のGPUクラスター、および本番環境インフラストラクチャが使用されました。
• 微調整、量子化、アノテーション、および評価も本番環境インフラストラクチャ上で行われました。

訓練エネルギー消費

モデルの事前学習には、H100 - 80GB（TDP 700W）タイプのハードウェアで合計738万 GPU時間の計算リソースが使用されました。訓練時間は、各モデルの訓練に必要な総GPU時間であり、消費電力は各GPUデバイスの最大電力容量であり、電力使用効率に応じて調整されています。

訓練による温室効果ガス排出量

• 位置ベースの推定総温室効果ガス排出量は1999トン CO2eqです。
• 2020年以降、Metaは世界中の事業活動において温室効果ガス排出量をゼロに抑え、電力消費には100％のクリーンで再生可能なエネルギーを使用しているため、市場ベースの総温室効果ガス排出量は0トンCO2eqです。

エネルギー消費と排出量の計算方法

訓練エネルギー消費と温室効果ガス排出量の計算方法については、こちらを参照してください。Metaがこれらのモデルを公開しているため、他のユーザーは訓練エネルギー消費や温室効果ガス排出量を発生させません。

ベンチマークテスト

事前学習モデル

命令調整モデル

^MMMU Proの報告データは、標準タスクと視覚タスクの平均値です。

量子化

• Llama 4 ScoutモデルはBF16重みで公開されており、即時int4量子化により単一のH100 GPUに適合させることができます。
• Llama 4 Maverickモデルは、BF16とFP8量子化重みの両方が公開されており、FP8量子化重みは単一のH100 DGXホストで実行でき、品質を維持することができます。同時に、即時int4量子化コードも提供されており、性能の低下を最小限に抑えることができます。

📄 ライセンス

このモデルはLlama 4コミュニティライセンス契約を使用しています。「同意する」をクリックするか、Llama材料の一部を使用または配布することで、この契約に拘束されることに同意するものとみなされます。契約の詳細は以下の通りです。

LLAMA 4コミュニティライセンス契約

1. ライセンスの権利と再配布

• 権利の付与：あなたには、非排他的、世界規模、譲渡不可、無料の有限ライセンスが付与され、Llama材料に含まれるMetaの知的財産またはその他の権利の下で、Llama材料を使用、複製、配布、コピー、派生作品を作成し、変更することができます。
• 再配布と使用：
  • Llama材料（またはその派生作品）、またはこれらの材料を含む製品やサービス（他のAIモデルを含む）を配布または提供する場合、（A）この契約のコピーをすべてのLlama材料とともに提供する必要があります。（B）関連するウェブサイト、ユーザーインターフェイス、ブログ記事、概要ページ、または製品ドキュメントに「Built with Llama」を目立つように表示する必要があります。Llama材料またはその出力結果を使用してAIモデルを作成、訓練、微調整、またはその他の方法で改善し、配布または提供する場合、このようなAIモデルの名前の前に「Llama」を付ける必要があります。
  • あなたが被許諾者からLlama材料またはその派生作品を最終ユーザー製品の一部として受け取った場合、この契約の第2条はあなたには適用されません。
  • 配布するすべてのLlama材料のコピーに、以下の帰属声明を含める必要があります。この声明は、このようなコピーの一部として配布される「Notice」テキストファイルに含まれる必要があります。「Llama 4 is licensed under the Llama 4 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.」
  • Llama材料の使用は、適用される法律や規制（貿易コンプライアンス法律を含む）に従い、Llama材料の許容使用ポリシー（https://www.llama.com/llama4/use-policyで確認できます）に従う必要があります。このポリシーは、この契約に組み込まれています。

2. 追加の商用条項

Llama 4バージョンの公開日において、被許諾者またはその関連会社が提供する製品またはサービスの前月の月間アクティブユーザー数が7億を超える場合、あなたはMetaにライセンスを申請する必要があります。Metaは独自の判断でライセンスを付与するかどうかを決定し、Metaが明確にそのような権利を付与するまで、あなたはこの契約に基づくいかなる権利も行使することができません。

3. 保証の否認

適用される法律が要求する場合を除き、Llama材料およびその出力結果は「現状のまま」提供され、いかなる形式の保証も提供されません。Metaは、所有権、非侵害、適銷性、または特定の目的への適合性を含むすべての明示的および暗示的な保証を明確に排除します。あなたは、Llama材料の使用または再配布の適切性を独自に判断し、Llama材料およびその出力結果の使用に関連するすべてのリスクを負う責任があります。

4. 責任の制限

いかなる責任理論に基づいても、契約、不法行為、過失、製品責任、またはその他の理由に関係なく、Metaまたはその関連会社は、この契約に起因するいかなる利益損失、または間接的、特殊的、結果的、偶発的、懲罰的、または罰則的な損害に対して責任を負いません。たとえMetaまたはその関連会社がそのような損害の可能性を知っていた場合でも同様です。

5. 知的財産

• 商標ライセンス：この契約では商標ライセンスは付与されません。Llama材料に関しては、合理的かつ慣習的な説明およびLlama材料の再配布に必要な場合、または本节5(a)で説明されている場合を除き、Metaおよび被許諾者は、相手方またはその関連会社が所有または関連するいかなる名称またはマークも使用することができません。Metaは、第1.b.i条の最後の文を遵守するために必要な場合にのみ、「Llama」（「マーク」）を使用するライセンスをあなたに付与します。あなたは、Metaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/で確認できます）に従う必要があります。マークの使用によって生じるすべての商標権はMetaに帰属します。
• 派生作品の所有権：MetaがLlama材料およびその派生作品の所有権を持っている前提で、あなたが作成したLlama材料の派生作品および変更に関しては、あなたはこれらの派生作品および変更の所有者であり、将来も所有者のままです。
• 侵害訴訟の結果：あなたがMetaまたは任意の実体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を提起し、Llama材料、Llama 4の出力結果、またはその一部があなたが所有またはライセンスを取得できる知的財産またはその他の権利の侵害を構成すると主張する場合、この契約によってあなたに付与されたすべてのライセンスは、そのような訴訟または請求が提起された日から終了します。あなたは、Llama材料の使用または配布に起因する、または関連するすべての第三者の請求からMetaを補償し、保護する責任があります。

6. 期間と終了

この契約は、あなたがこの契約に同意するか、Llama材料にアクセスした時点で有効になり、この契約の条項および条件に基づいて終了するまで有効です。あなたがこの契約のいずれかの条項および条件に違反した場合、Metaはこの契約を終了することができます。契約が終了した後、あなたはLlama材料を削除し、使用を停止する必要があります。第3、4、および7条は、契約終了後も有効です。

7. 適用法律と管轄権

この契約は、カリフォルニア州の法律に準拠し、解釈されます。法律選択の原則は考慮されません。国際連合国際商品売買契約条約はこの契約に適用されません。カリフォルニア州の裁判所は、この契約に起因するいかなる紛争に対しても排他的な管轄権を有します。