Llama 3.1 8B Instruct

🚀 Meta Llama 3.1 多言語大規模言語モデル

Meta Llama 3.1 は一連の多言語大規模言語モデル（LLMs）で、8B、70B、405B の3種類の規格の事前学習および命令微調整生成モデル（テキスト入力/出力）をカバーしています。これらのモデルは多言語対話シナリオに最適化されており、一般的な業界ベンチマークテストで優れた性能を発揮し、多くの既存のオープンソースおよびクローズドソースのチャットモデルを上回っています。

🚀 クイックスタート

Transformers ライブラリの使用

transformers >= 4.43.0 バージョンから、Transformers の pipeline 抽象化または Auto クラスと generate() 関数を使用して対話推論を行うことができます。

以下のコマンドで transformers ライブラリを更新してください。

pip install --upgrade transformers

以下は使用例です。

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

huggingface-llama-recipes で、モデルのローカル使用、torch.compile()、補助生成、量子化などの詳細な使用方法を見つけることができます。

Transformers を使用したツール呼び出し

LLaMA - 3.1 は複数のツール呼び出し形式をサポートしています。完全なプロンプト形式ガイドは こちら で確認できます。

Transformers では、チャットテンプレート を通じてツール呼び出しをサポートしています。以下は簡単なツール呼び出しのクイック例です。

# まず、ツールを定義します
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location: The location to get the temperature for, in the format "City, Country"
    Returns:
        The current temperature at the specified location in the specified units, as a float.
    """
    return 22.  # A real function should probably actually get the temperature!

# 次に、チャットを作成し、チャットテンプレートを適用します
messages = [
  {"role": "system", "content": "You are a bot that responds to weather queries."},
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]

inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

通常通り、この入力からテキストを生成することができます。モデルがツール呼び出しを生成した場合、以下のようにチャットに追加する必要があります。

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

その後、ツールを呼び出し、結果を tool ロールとしてチャットに追加します。

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

その後、generate() を再度呼び出して、モデルにチャット内でツールの結果を使用させることができます。これはツール呼び出しの簡単な紹介に過ぎません。詳細な情報は LLaMA プロンプト形式ドキュメント と Transformers の ツール使用ドキュメント を参照してください。

llama コードライブラリの使用

リポジトリ の説明に従ってください。

元のチェックポイントをダウンロードするには、以下の huggingface-cli の使用例を参考にしてください。

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir Meta-Llama-3.1-8B-Instruct

✨ 主な機能

• 多言語対応：英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語をサポートしています。
• 高性能：一般的な業界ベンチマークテストで、多くの既存のオープンソースおよびクローズドソースのチャットモデルを上回っています。
• ツール呼び出しサポート：複数のツール呼び出し形式をサポートしており、開発者が外部ツールを簡単に統合できます。
• 長いコンテキストウィンドウ：より長いコンテキストウィンドウを提供し、モデルの理解と生成能力を強化しています。

📦 インストール

このモデルを使用する前に、transformers ライブラリをインストールしてください。以下のコマンドで更新できます。

pip install --upgrade transformers

📚 ドキュメント

モデル情報

想定される用途

想定される使用例

Llama 3.1 は、複数の言語での商用および研究用途を目的としています。命令微調整された純粋なテキストモデルは、アシスタントのようなチャットシナリオに適しており、事前学習モデルは様々な自然言語生成タスクに使用できます。Llama 3.1 モデルシリーズは、合成データ生成や蒸留を含む、他のモデルの改善にも利用できます。Llama 3.1 コミュニティライセンスでは、これらの使用例が許可されています。

想定外の使用

• 適用される法律や規制（貿易コンプライアンス法律を含む）に違反する方法での使用。
• 許容使用ポリシーおよび Llama 3.1 コミュニティライセンスで禁止されている他の方法での使用。
• このモデルカードで明示的にサポートされていない言語での使用。

⚠️ 重要な注意

Llama 3.1 は、サポートされている8つの言語よりも広範な言語セットで学習されています。開発者は、Llama 3.1 モデルをサポートされている8つの言語以外の言語に対して微調整することができますが、その場合は Llama 3.1 コミュニティライセンスと許容使用ポリシーを遵守し、他の言語を安全かつ責任を持って処理するための措置を講じる必要があります。

ハードウェアとソフトウェア

学習要因

事前学習には、カスタム学習ライブラリ、Meta 独自の GPU クラスター、および本番環境インフラストラクチャを使用しています。微調整、アノテーション、および評価も本番環境インフラストラクチャ上で行われます。

学習計算資源

学習には、合計で3930万 GPU 時間の H100 - 80GB（TDP 700W）タイプのハードウェア計算資源が使用されました。学習時間は、各モデルを学習するために必要な総 GPU 時間であり、消費電力は各 GPU デバイスの最大電力容量であり、電力使用効率に応じて調整されています。

学習による温室効果ガス排出量

学習による推定温室効果ガス排出量は、地域ベースで11390トンの CO2eq です。2020年以降、Meta は世界規模での事業活動において温室効果ガスの排出量をゼロに抑えており、100% の電力使用を再生可能エネルギーで賄っているため、市場ベースでの総温室効果ガス排出量は0トンの CO2eq です。

学習エネルギー使用量と温室効果ガス排出量の算出方法は こちら で確認できます。Meta がこれらのモデルを公開しているため、他の人は学習エネルギー使用量と温室効果ガス排出量を発生させません。

ベンチマークスコア

基礎事前学習モデル

命令微調整モデル

多言語ベンチマーク

責任と安全性

責任ある公開戦略

責任ある公開方法の一環として、信頼と安全リスクを管理するための3本柱の戦略を採用しています。

• 開発者が、Llama がサポートするユースケースとターゲットオーディエンスに対して、有用で安全かつ柔軟な体験を展開できるようにする。
• 開発者を、Llama の機能を悪用して潜在的な危害を引き起こそうとする悪意のあるユーザーから保護する。
• モデルが誤用されるのを防ぎ、コミュニティを保護する。

責任ある展開

Llama は、様々なユースケースに使用される基礎技術です。Meta の Llama モデルをどのように責任を持って展開するかの例は、コミュニティストーリーページ で確認できます。私たちのアプローチは、最も有用なモデルを構築し、一般的なユースケースに合わせてモデルの安全性を調整することで、一連の標準的な危害を解消し、技術の力を世界が享受できるようにすることです。その後、開発者は自分のユースケースに合わせて安全性をカスタマイズし、独自のポリシーを定義し、Llama システムに必要な保障措置を展開してモデルを使用することができます。Llama 3.1 は、「責任ある使用ガイド」 に概説されているベストプラクティスに従って開発されています。

Llama 3.1 命令微調整

安全微調整の主な目的は、研究コミュニティに安全微調整の堅牢性を研究するための貴重なリソースを提供するとともに、開発者に様々なアプリケーションに使用できる、すぐに使える安全で強力なモデルを提供し、開発者が安全な AI システムを展開する手間を減らすことです。実施された安全緩和策の詳細については、Llama 3 論文を読んでください。

微調整データ

潜在的な安全リスクを軽減するために、サプライヤーが提供する人工生成データと合成データを組み合わせた多面的なデータ収集方法を採用しています。多数の大規模言語モデル（LLM）ベースの分類器を開発し、高品質のプロンプトと応答を選択し、データ品質管理を強化しています。

拒否と語調

Llama 3 をベースに、モデルが良性なプロンプトを拒否することと、拒否の語調に非常に注意を払っています。安全データ戦略に境界と敵対的なプロンプトを組み込み、安全データ応答を語調ガイドに沿って修正しています。

Llama 3.1 システム

Llama 3.1 を含む大規模言語モデルは、単独で展開することを想定していません。追加の安全保護措置を備えた全体的な AI システムの一部として展開する必要があります。開発者は、自律システムを構築する際にシステム保障措置を展開する必要があります。保障措置は、正しい有用性と安全性のアライメントを実現し、システム固有の安全リスクや、モデルまたはシステムが外部ツールと統合される際のリスクを軽減するために不可欠です。

責任ある公開方法の一環として、コミュニティに 保障措置 を提供しています。開発者は、Llama モデルまたは他の大規模言語モデルとともに、Llama Guard 3、Prompt Guard、Code Shield を展開する必要があります。私たちのすべての 参考実装 デモには、これらの保障措置がデフォルトで含まれており、開発者はすぐにシステムレベルのセキュリティの恩恵を受けることができます。

新機能

このバージョンでは、より長いコンテキストウィンドウ、多言語入出力、開発者がサードパーティツールとの統合などの新機能が導入されています。これらの新機能を使用するには、すべての生成 AI ユースケースに適用されるベストプラクティスに加えて、特定の考慮事項が必要です。

ツール使用

標準的なソフトウェア開発と同様に、開発者は LLM を選択したツールやサービスと統合する責任があります。自分のユースケースに合った明確なポリシーを定義し、使用するサードパーティサービスの信頼性を評価し、この機能を使用する際のセキュリティとリスクの制限を理解する必要があります。サードパーティ保障措置を安全に展開するためのベストプラクティスについては、「責任ある使用ガイド」を参照してください。

多言語サポート

Llama 3.1 は英語以外に、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語の7つの言語をサポートしています。Llama は、安全と有用性のパフォーマンス閾値を超える他の言語のテキストを出力する可能性があります。開発者は、自分のポリシーと「責任ある使用ガイド」で共有されているベストプラクティスに従って微調整し、システム制御を実装しない限り、このモデルをサポートされていない言語での対話に使用しないことを強くお勧めします。

評価

Llama モデルについて、一般的なユースケースと特定の機能に関する評価を行っています。一般的なユースケース評価では、チャットボット、コーディングアシスタント、ツール呼び出しなど、最も一般的に構築されるアプリケーションのシステムセキュリティリスクを測定しています。専用の敵対的評価データセットを構築し、Llama モデルと Llama Guard 3 で構成されるシステムを評価し、入力プロンプトと出力応答をフィルタリングしています。アプリケーションをコンテキスト内で評価することは重要であり、自分のユースケースに合った専用の評価データセットを構築することをお勧めします。アプリケーションに関連する場合は、Prompt Guard と Code Shield も利用できます。

機能評価では、Llama モデルの特定の機能に固有の脆弱性を測定しています。このため、長文脈、多言語、ツール呼び出し、コーディング、メモリなどの専用のベンチマークを精心に設計しています。

レッドチームテスト

これらの両方のケースについて、定期的なレッドチームテストを実施しています。目的は、敵対的なプロンプトを使用してリスクを発見し、その教訓を利用してベンチマークと安全微調整データセットを改善することです。

早期段階で、重要なリスク領域の専門家と協力し、これらの現実世界の危害の性質と、このようなモデルが社会に意図しない危害を引き起こす可能性を理解しています。これらの対話を基に、レッドチームに対して、有害な情報を抽出したり、モデルを再プログラムして潜在的に有害な作用を発揮させたりするなどの敵対的な目標を設定しています。レッドチームは、サイバーセキュリティ、敵対的機械学習、責任ある AI、信頼性の専門家と、特定の地理的市場で信頼性問題の背景を持つ多言語コンテンツ専門家で構成されています。

重要なリスクとその他のリスク

以下の重要なリスク領域の軽減に特に注意を払っています。

• CBRNE（化学、生物、放射性、核、爆発物材料）の有用性：化学兵器と生物兵器の拡散に関連するリスクを評価するために、Llama 3.1 モデルを使用して悪意のある行為者がこれらのタイプの兵器を計画または実行する能力が大幅に向上するかどうかを評価するための向上テストを実施しています。
• 子どもの安全：専門家チームを使用して子どもの安全リスク評価を行い、モデルが子どもの安全リスクを引き起こす可能性のある出力を生成する能力を評価し、微調整を通じて必要かつ適切なリスク軽減策を提案しています。これらの専門家によるレッドチームテストを利用して、Llama 3 モデル開発過程で評価したベンチマークの範囲を拡大しています。Llama 3 については、複数の攻撃ベクトルでのモデルのリスクを評価するために、目標ベースの方法を使用して新たな詳細なテストを実施しています。また、特定の市場の微妙な違いや経験を考慮しながら、潜在的な違反コンテンツを評価するために、コンテンツ専門家と協力してレッドチームテストを行っています。
• サイバー攻撃の支援：大規模言語モデルがハッキングタスクにおける人間の能力をスキルレベルと速度の面で向上させることができるかどうかを調査しています。攻撃自動化研究では、大規模言語モデルがサイバー攻撃行動における自律エージェントとしての能力、特にランサムウェア攻撃の文脈での能力を評価することに焦点を当てています。この評価は、大規模言語モデルを対話型アシスタントと見なす以前の研究とは異なります。主な目標は、これらのモデルが人間の介入なしで複雑なサイバー攻撃を効果的に実行できる独立したエージェントとして機能できるかどうかを評価することです。Llama - 3.1 - 405B がサイバー攻撃者の社会的操作を向上させる能力に関する研究では、AI モデルがサイバー脅威行為者の魚叉型フィッシング活動を支援する有効性を評価することを目的としています。詳細な情報は、Llama 3.1 サイバーセキュリティホワイトペーパーを読んでください。

コミュニティ参加

生成 AI の安全性には専門知識とツールが必要であり、私たちはオープンコミュニティの力がその開発を加速することができると信じています。私たちは、AI アライアンス、AI コラボレーション組織、MLCommons などのオープンアライアンスの積極的なメンバーであり、安全性の標準化と透明性に積極的に貢献しています。コミュニティに、MLCommons の概念実証評価のような分類法を採用して、安全性とコンテンツ評価の協力と透明性を促進することを奨励しています。私たちの Purple Llama ツールはコミュニティで使用できるようにオープンソース化されており、クラウドサービスプロバイダーを含むエコシステムパートナーに広く配布されています。コミュニティには、Github リポジトリ に貢献することをお勧めします。

また、Llama インパクトグラント プログラムを設立し、Meta の Llama モデルが教育、気候、オープンイノベーションの3つのカテゴリで社会に有益な最も有望なアプリケーションを特定し、支援しています。数百件の申請のうち20人のファイナリストは こちら で確認できます。

最後に、出力報告メカニズム と 脆弱性報奨金制度 を含む一連のリソースを構築し、コミュニティの助けを借りて Llama 技術を継続的に改善しています。

倫理的考慮事項と制限事項

Llama 3.1 の核心的な価値観は、開放性、包括性、有用性です。すべての人に役立ち、幅広いユースケースに適用されることを目的としています。したがって、様々な背景、経験、見解を持つ人が利用できるように設計されています。Llama 3.1 はユーザーの実際のニーズに基づいており、不要な判断や規範的な内容を挿入することなく、場合によっては問題に見える内容でも、他の状況では価値があることを認識しています。すべてのユーザーの尊厳と自律性を尊重し、特に革新と進歩を促進する自由な思想と表現の価値に配慮しています。

ただし、Llama 3.1 は新しい技術であり、他の新しい技術と同様に、使用にはリスクが伴います。これまでに行われたテストでは、すべてのシナリオを網羅することはできません。したがって、他の大規模言語モデルと同様に、Llama 3.1 の潜在的な出力は事前に予測することができず、モデルは場合によってはユーザーのプロンプトに対して不正確、偏った、または不快な応答を返す可能性があります。したがって、Llama 3.1 モデルを使用するアプリケーションを展開する前に、開発者は特定のアプリケーションに対して安全性テストと調整を行う必要があります。責任ある開発に関する詳細な情報は、「責任ある使用ガイド」、信頼と安全 ソリューション、および他の リソース を参照してください。

📄 ライセンス

Llama 3.1 はカスタム商用ライセンスである Llama 3.1 コミュニティライセンスの下で提供されています。詳細は こちら を参照してください。

Llama 3.1 コミュニティライセンス契約

詳細な使用条件については、完全な契約 を参照してください。

Llama 3.1 許容使用ポリシー

Meta は、Llama 3.1 を含むツールや機能の安全で公正な使用を促進することに取り組んでいます。Llama 3.1 にアクセスまたは使用する場合は、この許容使用ポリシー（「ポリシー」）に同意したことになります。このポリシーの最新バージョンは https://llama.meta.com/llama3_1/use-policy で確認できます。

禁止されている使用

私たちは、すべての人が安全かつ責任を持って Llama 3.1 を使用することを望んでいます。あなたは、自分自身または他人が Llama 3.1 を以下のように使用しないことに同意するものとします。

• 法律または他人の権利に違反する行為：
  • 違法または犯罪行為やコンテンツの実行、促進、生成、関与、助長、計画、扇動、推進：
    • 暴力またはテロリズム
    • 子どもの虐待または被害、子ども虐待コンテンツの収集、作成、取得、または配布、または子ども性虐待材料の未報告
    • 人身売買、虐待、性暴力
    • 未成年者への違法な情報または材料の配布、または関連情報または材料に法律で要求される年齢制限を適用しないこと
    • 性的誘惑
    • その他の犯罪行為
  • 個人またはグループに対する嫌がらせ、虐待、脅迫、またはいじめの実行、促進、扇動、または助長
  • 雇用、雇用福利、信用、住宅、その他の経済的福利またはその他の基本的な商品やサービスの提供における差別またはその他の違法または有害な行為の実行、促進、扇動、または助長
  • 金融、法律、医療/健康または関連する専門分野を含む、許可されていないまたは免許のない専門的な実践の実行
  • 適用される法律で要求される権利と同意を得ずに、個人の健康、統計情報、またはその他の敏感な個人または私的情報の収集、処理、開示、生成、または推測
  • 第三者の権利の侵害、盗用、またはその他の侵害行為の実行またはそのようなコンテンツの生成、Llama 材料を使用する製品またはサービスの出力または結果を含む
  • 悪意のあるコード、マルウェア、コンピュータウイルスの作成、生成、または助長、またはウェブサイトまたはコンピュータシステムの正常な動作、完全性、操作、または外観を無効化、過負荷にし、干渉または損害を与える可能性のある他の操作の実行
• 個人に死亡または身体的損傷のリスクをもたらす可能性のある活動の計画または実施の促進、扇動、助長、または支援、以下の関連する Llama 3.1 の使用を含む：
  • 軍事、戦争、原子力産業または応用、スパイ活動、米国国務省の「国際兵器貿易規制」（ITAR）で規制されている材料または活動
  • 銃器および違法武器（武器開発を含む）
  • 違法薬物および規制/管理物質
  • 重要インフラストラクチャ、輸送技術、または重機械の操作
  • 自傷行為または他人への傷害、自殺、自傷行為、および摂食障害を含む
  • 暴力、虐待、または個人への身体的損傷を扇動または促進することを目的としたコンテンツ
• 他人を意図的に欺くまたは誤解させる行為、以下の関連する Llama 3.1 の使用を含む：
  • 詐欺の生成、促進、または推進、または虚偽情報の作成または推奨
  • 中傷的なコンテンツの生成、促進、または推進、中傷的な声明、画像、またはその他のコンテンツの作成
  • スパムの生成、促進、またはさらなる配布
  • 同意、許可、または合法的な権利を得ずに他人になりすますこと
  • Llama 3.1 の使用または出力が人間によって生成されたものであると表示すること
  • 虚偽のオンラインインタラクションの生成、促進、または作成、虚偽のレビューおよびその他の虚偽のオンラインインタラクション方法を含む

以下のいずれかの方法で、このポリシーの違反、ソフトウェアの「バグ」、またはこのポリシーの違反につながる可能性のあるその他の問題を報告してください。

• モデルの問題を報告する：https://github.com/meta-llama/llama-models/issues
• モデルが生成したリスクコンテンツを報告する：developers.facebook.com/llama_output_feedback
• 脆弱性とセキュリティの問題を報告する：facebook.com/whitehat/info
• Llama 3 の許容使用ポリシーの違反または許可されていない使用を報告する：LlamaUseReport@meta.com