Llama 4 Scout 17B 16E Unsloth Dynamic Bnb 4bit

モデル情報

Llama 4モデル群は、テキストとマルチモーダル体験を可能にするネイティブマルチモーダルAIモデルです。これらのモデルは混合専門家(MoE)アーキテクチャを活用し、テキストおよび画像理解において業界をリードする性能を提供します。

これらのLlama 4モデルは、Llamaエコシステムの新時代の始まりを示すものです。Llama 4シリーズでは2つの効率的なモデルをリリースしています：16の専門家を備えた170億パラメータモデルLlama 4 Scoutと、128の専門家を備えた170億パラメータモデルLlama 4 Maverickです。

モデル開発者: Meta

モデルアーキテクチャ: Llama 4モデルは、混合専門家(MoE)アーキテクチャを使用し、ネイティブマルチモーダリティのために早期融合を組み込んだ自己回帰型言語モデルです。

対応言語: アラビア語、英語、フランス語、ドイツ語、ヒンディー語、インドネシア語、イタリア語、ポルトガル語、スペイン語、タガログ語、タイ語、ベトナム語。

モデルリリース日: 2025年4月5日

ステータス: これはオフラインデータセットで学習された静的モデルです。コミュニティフィードバックに基づいてモデル動作を改善するため、調整済みモデルの将来バージョンがリリースされる可能性があります。

ライセンス: カスタム商用ライセンスであるLlama 4 Community License Agreementは、https://github.com/meta-llama/llama-models/blob/main/models/llama4/LICENSEで入手可能です。

モデルに関する質問やコメントの送信先: モデルに関するフィードバックやコメントを提供する方法については、LlamaのREADMEをご覧ください。生成パラメータに関するより技術的な情報や、Llama 4をアプリケーションで使用するためのレシピについては、こちらをご覧ください。

意図された用途

意図された使用例: Llama 4は、複数言語での商用および研究用途を意図しています。指示調整済みモデルはアシスタントのようなチャットや視覚的推論タスクを意図しており、事前学習済みモデルは自然言語生成に適応できます。視覚に関しては、Llama 4モデルは視覚認識、画像推論、キャプション作成、画像に関する一般的な質問への回答にも最適化されています。Llama 4モデル群は、合成データ生成や蒸留を含む他のモデルを改善するためにそのモデル出力を活用する能力もサポートしています。Llama 4 Community Licenseはこれらの使用例を許可しています。

対象外の用途: 適用される法律や規制（貿易コンプライアンス法規を含む）に違反する方法での使用。許容使用ポリシーおよびLlama 4 Community Licenseで禁止されている他の方法での使用。このモデルカードで明示的にサポートされているもの以外の言語や能力での使用。

注記:

1. Llama 4は、12のサポート言語（事前学習には合計200言語が含まれます）よりも広範な言語で学習されています。開発者は、Llama 4 Community Licenseと許容使用ポリシーに準拠する限り、12のサポート言語以外の言語でLlama 4モデルをファインチューニングできます。開発者は、追加言語でのLlama 4の使用が安全かつ責任ある方法で行われることを保証する責任があります。

2. Llama 4は、最大5つの入力画像までの画像理解についてテストされています。これ以上の画像理解機能を活用する場合、開発者はリスクを軽減するための展開を行い、特定のアプリケーションに合わせた追加のテストと調整を実施する責任があります。

transformersでの使用方法

transformers v4.51.0 がインストールされていることを確認するか、pip install -U transformers を使用してアップグレードしてください。

from transformers import AutoProcessor, Llama4ForConditionalGeneration
import torch

model_id = "meta-llama/Llama-4-Maverick-17B-128E-Instruct"

processor = AutoProcessor.from_pretrained(model_id)
model = Llama4ForConditionalGeneration.from_pretrained(
    model_id,
    attn_implementation="flex_attention",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)

url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/0052a70beed5bf71b92610a43a52df6d286cd5f3/diffusers/rabbit.jpg"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/datasets/cat_style_layout.png"
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url1},
            {"type": "image", "url": url2},
            {"type": "text", "text": "これらの2つの画像がどのように似ていて、どのように異なるかを説明できますか？"},
        ]
    },
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
)

response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[-1]:])[0]
print(response)
print(outputs[0])

ハードウェアとソフトウェア

学習要因: 事前学習には、カスタム学習ライブラリ、Metaの独自構築GPUクラスター、および本番インフラを使用しました。ファインチューニング、量子化、アノテーション、評価も本番インフラで実施されました。

学習エネルギー使用量: モデル事前学習には、以下の表に示すように、H100-80GB（TDP 700W）タイプのハードウェアで累計7.38M GPU時間の計算が使用されました。学習時間は各モデルの学習に必要な総GPU時間であり、電力消費は使用されたGPUデバイスごとのピーク電力容量で、電力使用効率に応じて調整されています。

学習による温室効果ガス排出量: 場所ベースの温室効果ガス排出量の推定総量は、学習で1,999トンのCO2換算でした。2020年以降、Metaはグローバル事業でネットゼロの温室効果ガス排出量を維持し、電力使用の100%をクリーンで再生可能なエネルギーで賄っているため、学習による市場ベースの温室効果ガス排出量は0トンCO2換算でした。

学習エネルギー使用量と温室効果ガス排出量を決定するために使用された方法論はこちらで確認できます。Metaがこれらのモデルを公開しているため、学習エネルギー使用量と温室効果ガス排出量は他者によって発生することはありません。

学習データ

概要: Llama 4 Scoutは約40兆トークン、Llama 4 Maverickは約22兆トークンのマルチモーダルデータで事前学習されました。これには公開されているデータ、ライセンスデータ、Metaの製品・サービスからの情報の組み合わせが含まれます。これにはInstagramやFacebookで公開共有された投稿や、Meta AIとの人々のやり取りが含まれます。

データ鮮度: 事前学習データのカットオフは2024年8月です。

ベンチマーク

このセクションでは、以前のモデルに対するLlama 4の結果を報告します。展開の柔軟性のために量子化チェックポイントを提供していますが、報告されているすべての評価とテストはbf16モデルで実施されました。

事前学習済みモデル

指示調整済みモデル

^MMMU Proの報告数値は標準タスクと視覚タスクの平均です

量子化

Llama 4 ScoutモデルはBF16重みとしてリリースされていますが、オンデマンドint4量子化により単一のH100 GPUに収まります。Llama 4 MaverickモデルはBF16およびFP8量子化重みの両方でリリースされています。FP8量子化重みは単一のH100 DGXホストに収まりながら品質を維持します。また、性能低下を最小限に抑えるオンデマンドint4量子化のコードも提供しています。

セーフガード

リリースアプローチの一環として、リスク管理のために3つの戦略を採用しました：

• 開発者が対象ユーザーやLlamaがサポートする使用例に対して、有用で安全かつ柔軟な体験を展開できるようにする。
• 悪意のあるユーザーがLlamaの能力を悪用して危害を加える可能性から開発者を保護する。
• コミュニティに対して、モデルの誤用を防ぐための保護を提供する。

Llamaは多様な使用例での利用を目的とした基盤技術です。MetaのLlamaモデルがどのように展開されているかの例は、コミュニティストーリーウェブページで確認できます。私たちのアプローチは、標準的なリスクセットに対してモデルの安全性を調整しながら、世界が技術の恩恵を受けられる最も有用なモデルを構築することです。その後、開発者は自らの使用例に合わせて安全性を調整し、必要なセーフガードを備えてモデルを展開する主導権を握ります。Llama 4は、Developer Use Guide: AI Protectionsで概説されているベストプラクティスに従って開発されました。

モデルレベルのファインチューニング

安全性ファインチューニングを実施する主な目的は、開発者がさまざまなアプリケーションですぐに利用できる安全で強力なモデルを提供し、安全なAIシステムを展開するために必要な作業負荷を軽減することです。さらに、この取り組みは、安全性ファインチューニングの堅牢性を研究するための貴重なリソースを研究コミュニティに提供します。

ファインチューニングデータ ベンダーからの人間生成データと合成データを組み合わせた多面的なアプローチでデータ収集を行い、潜在的な安全リスクを軽減します。高品質なプロンプトとレスポンスを慎重に選択できる多数の大規模言語モデル(LLM)ベースの分類器を開発し、データ品質管理を強化しました。

拒否 Llama 3モデルで開始した作業を基に、Llama 4では良性プロンプトに対するモデルの拒否率を大幅に低下させることに重点を置きました。安全性データ戦略には境界線上のプロンプトと敵対的プロンプトの両方を含め、安全性データレスポンスがトーンガイドラインに従うように修正しました。

トーン Llama 3の拒否トーンに関する作業を拡張し、モデルがより自然に聞こえるようにしました。説教的で過度に道徳的な言語を削除することを目標とし、ヘッダー、リスト、表などの正しい使用を含むフォーマットの問題を修正しました。

これを達成するために、システムプロンプトの操縦性と指示追従の改善も目標としました。つまり、モデルは指定されたトーンをより容易に採用できるようになります。これらすべてが、より会話的で洞察に富んだ全体的な体験に貢献しています。

システムプロンプト Llama 4はより操縦可能なモデルであり、レスポンスを特定の開発者成果に合わせて簡単に調整できます。効果的なシステムプロンプトは、大規模言語モデルのパフォーマンスを大幅に向上させることができます。特に、システムプロンプトの使用は、LLMに共通する誤った拒否や定型化された「説教的」な言語パターンを減らすのに効果的です。また、会話性と適切なフォーマットの使用も改善できます。

以下のプロンプトは、開発者がLlama 4モデルの特定のニーズや使用例に合わせてさらにカスタマイズできる基本的なテンプレートとして検討してください。

Llama 4システム保護

大規模言語モデル（Llama 4を含む）は、単独で展開するように設計されておらず、必要な追加のガードレールを備えたAIシステム全体の一部として展開する必要があります。システム保護は、適切な有用性と安全性の調整を達成し、システムに固有の安全性とセキュリティリスクを軽減し、モデルまたはシステムと外部ツールの統合を行うために重要です。

私たちは、Llamaモデルまたは他のLLMと共に展開すべきLlama Guard、Prompt Guard、Code Shieldなどのシステムレベルの保護をコミュニティに提供します。すべてのリファレンス実装デモには、これらのセーフガードがデフォルトで含まれているため、開発者はシステムレベルの安全性をすぐに利用できます。

評価

Llamaモデルを一般的な使用例と特定の能力について評価しました。一般的な使用例評価では、チャットボット、視覚的QAなど、最も一般的に構築されるアプリケーションのシステムの安全リスクを測定します。専用の敵対的評価データセットを構築し、Llamaモデルと入力プロンプトおよび出力レスポンスをフィルタリングするLlama Guard 3で構成されるシステムを評価しました。アプリケーションを文脈で評価することが重要であり、使用例に特化した評価データセットを構築することをお勧めします。Prompt GuardとCode Shieldも、アプリケーションに関連する場合は利用可能です。 能力評価では、長文脈、多言語、コーディング、記憶など、特定の能力に固有のLlamaモデルの脆弱性を測定し、専用のベンチマークを作成しました。

レッドチーミング リスクを発見し、ベンチマークと安全性チューニングデータセットを改善することを目的として、敵対的プロンプトによるリスク発見のための定期的なレッドチーミング演習を実施しています。重要なリスク領域の主題専門家と早期に協力し、モデルが社会に意図しない害をもたらす可能性を理解します。これらの議論に基づいて、有害な情報の抽出やモデルを潜在的に有害な方法で動作させるための再プログラミングなど、レッドチームの敵対的目標セットを導き出します。レ