Llama 3.3 70B Instruct FP8 Dynamic

🚀 Llama 3.3 多言語大規模言語モデル

Llama 3.3はMetaが開発した多言語大規模言語モデルで、70Bのパラメータを持ち、事前学習と命令調整を経て、多言語対話シナリオで優れた性能を発揮し、一般的な業界基準テストで多くのオープンソースおよびクローズドソースのチャットモデルを上回っています。

🚀 クイックスタート

このリポジトリには、transformers ライブラリとオリジナルの llama コードベースで使用できる2つのバージョンの Llama-3.3-70B-Instruct が含まれています。

transformers ライブラリを使用する

transformers >= 4.43.0 バージョンから、Transformers の pipeline 抽象化または Auto クラスの generate() 関数を使用して対話推論を行うことができます。

pip install --upgrade transformers を実行して、transformers ライブラリを更新してください。

以下は Transformers を使用するコードスニペットです。

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

transformers ライブラリを使用したツールの呼び出し

LLaMA-3.3は、複数のツール使用形式をサポートしています。完全なプロンプトフォーマットガイドはこちらで確認できます。

Transformers では、チャットテンプレートを通じてツールの使用をサポートしています。 以下は簡単なツールのクイック例です。

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location

✨ 主な機能

• 多言語サポート：英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語など、多くの言語をサポートしています。
• 高性能：多言語対話シナリオで優れた性能を発揮し、一般的な業界基準テストで多くのオープンソースおよびクローズドソースのチャットモデルを上回っています。
• ツール使用サポート：複数のツール使用形式をサポートし、チャットテンプレートを通じてツールを呼び出すことができます。

📦 インストール

使用する前に、pip install --upgrade transformers を実行して transformers ライブラリを更新してください。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

高度な使用法

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location

📚 ドキュメント

モデル情報

• モデル開発者：Meta
• モデルアーキテクチャ：Llama 3.3は、最適化されたTransformerアーキテクチャを採用した自己回帰型言語モデルです。調整バージョンは、人間の有用性と安全性の嗜好に合わせるために、教師付き微調整（SFT）と人間フィードバックに基づく強化学習（RLHF）を使用しています。

想定用途

• 想定使用例：Llama 3.3は、複数の言語での商用および研究用途を目的としています。命令調整されたテキストモデルは、アシスタントのようなチャットに適しており、事前学習モデルはさまざまな自然言語生成タスクに使用できます。Llama 3.3モデルは、そのモデル出力を利用して他のモデルを改善することもサポートしており、合成データ生成や蒸留を含みます。Llama 3.3コミュニティライセンスはこれらの使用例を許可しています。
• 想定外の使用：適用される法律や規制（貿易コンプライアンス法律を含む）に違反する方法での使用；許容使用ポリシーおよびLlama 3.3コミュニティライセンスで禁止されている他の方法での使用；本モデルカードで明示的にサポートされていない言語での使用。

ライセンス

カスタム商用ライセンスである Llama 3.3 コミュニティライセンス契約は、こちらで入手できます。

フィードバックと技術情報

モデルに関する質問やコメントは、モデルのREADMEにフィードバックやコメントを提供する手順が記載されています。生成パラメータやアプリケーションで Llama 3.3 を使用する方法に関する技術情報は、こちらを参照してください。

追加情報

追加のライセンスヒント

### LLAMA 3.3 コミュニティライセンス契約
Llama 3.3 バージョンのリリース日: 2024年12月6日
「契約」とは、本契約で規定される Llama 素材の使用、複製、配布、および修正の条件を指します。
「ドキュメント」とは、Meta が [https://www.llama.com/docs/overview](https://llama.com/docs/overview) で配布する Llama 3.3 に関連する仕様、マニュアル、およびドキュメントを指します。
「被許諾者」または「あなた」とは、あなた、またはあなたの雇用主、またはあなたが代表して本契約に署名する他の個人または団体を指し、その個人または団体は、適用される法律、規則、または規制によって合法的な同意を与える年齢に達しており、あなたが彼らを代表して本契約に署名する場合、あなたの雇用主またはその他の個人または団体を拘束する法的権限を持っています。
「Llama 3.3」とは、Meta が [https://www.llama.com/llama-downloads](https://www.llama.com/llama-downloads) で配布する基礎大規模言語モデル、ソフトウェア、およびアルゴリズムを指し、機械学習モデルコード、学習済みモデルの重み、推論有効化コード、学習有効化コード、微調整有効化コード、およびそれらの他の要素を含みます。
「Llama 素材」とは、本契約に基づいて提供される Meta が所有する Llama 3.3 およびドキュメント（またはそれらの一部）の総称を指します。
「Meta」または「私たち」とは、あなたが欧州経済圏またはスイスに所在する場合、またはあなたが団体であり、主たる営業所が欧州経済圏またはスイスにある場合、Meta Platforms Ireland Limited を指し、それ以外の場合、Meta Platforms, Inc. を指します。
以下の「同意する」をクリックするか、Llama 素材の一部または要素を使用または配布することにより、あなたは本契約に拘束されることに同意するものとします。
1. ライセンス権利と再配布
a. 権利の付与。あなたには、Meta が Llama 素材に含まれる知的財産権またはその他の権利の下で、Llama 素材を使用、複製、配布、コピー、派生作品を作成し、修正するための非排他的、世界規模、譲渡不可、無料の限定的ライセンスが付与されます。
b. 再配布と使用
i. あなたが Llama 素材（またはその派生作品）、またはそれらを含む製品もしくはサービス（他の AI モデルを含む）を配布または提供する場合、あなたは（A）そのような Llama 素材とともに本契約のコピーを提供する必要があり、（B）関連するウェブサイト、ユーザーインターフェース、ブログ記事、概要ページ、または製品ドキュメントに「Built with Llama」を明示的に表示する必要があります。あなたが Llama 素材または Llama 素材の出力もしくは結果を使用して AI モデルを作成、学習、微調整、またはその他の方法で改善し、そのモデルを配布または提供する場合、あなたはまた、そのような AI モデルの名前の先頭に「Llama」を含める必要があります。
ii. あなたが統合された最終ユーザー製品の一部として被許諾者から Llama 素材またはその派生作品を受け取る場合、本契約の第 2 条はあなたに適用されません。
iii. あなたは、配布するすべての Llama 素材のコピーにおいて、そのコピーの一部として配布される「Notice」テキストファイルに以下の帰属声明を含める必要があります。「Llama 3.3 は Llama 3.3 コミュニティライセンスに基づいてライセンスされており、著作権 © Meta Platforms, Inc. すべての権利を留保します。」
iv. あなたの Llama 素材の使用は、適用される法律や規制（貿易コンプライアンス法律を含む）に準拠し、Llama 素材の許容使用ポリシー（[https://www.llama.com/llama3\_3/use-policy](https://www.llama.com/llama3_3/use-policy) で入手可能）に従う必要があり、このポリシーはここに引用により本契約に組み込まれます。
2. 追加の商用条項。Llama 3.3 バージョンのリリース日に、被許諾者または被許諾者の関連団体が提供する製品またはサービスの月間アクティブユーザーが前の暦月に 7 億を超える場合、あなたは Meta に許可を請求する必要があり、Meta は独自の判断で許可を与えるかどうかを決定し、Meta が明確にそのような権利を与えるまで、あなたは本契約に基づくいかなる権利も行使することができません。
3. 保証の否認。適用される法律が要求する場合を除き、Llama 素材およびその出力と結果は「現状のまま」提供され、いかなる形式の保証も提供されず、Meta はすべての形式の保証を免除します。これには、所有権、非侵害、売買適格性、または特定の目的への適合性に関する保証を含みます。あなたは、Llama 素材の使用または再配布の適切性を独自に判断し、Llama 素材およびその出力と結果の使用に関連するすべてのリスクを負います。
4. 責任の制限。いかなる場合も、Meta またはその関連団体は、本契約に起因する利益の損失または間接的、特殊的、結果的、偶発的、懲罰的、または罰則的な損害に対して責任を負いません。責任の理論が何であれ、Meta またはその関連団体がそのような損害の可能性を知っていた場合でも同様です。
5. 知的財産
a. 本契約では商標ライセンスは付与されません。Llama 素材に関して、Llama 素材の説明および再配布において合理的かつ慣習的に必要な場合を除き、または本节 5(a) で説明する場合を除き、Meta および被許諾者は、相手方またはその関連団体が所有または関連するいかなる名前またはマークも使用してはなりません。Meta は、第 1.b.i 条の最後の文の要求を遵守するためにのみ、「Llama」（「マーク」）を使用する許可をあなたに与えます。あなたは、Meta のブランドガイドライン（現在 [https://about.meta.com/brand/resources/meta/company-brand/](https://about.meta.com/brand/resources/meta/company-brand/)[)](https://en.facebookbrand.com/) で入手可能）に従います。あなたのマークの使用によって生じるすべての信頼性は、Meta の利益に帰属します。
b. Meta が Llama 素材およびその派生作品の所有者であることを考慮して、あなたが作成した Llama 素材の派生作品および修正に関して、あなたと Meta の間で、あなたはそのような派生作品および修正の所有者であり、そのままです。
c. あなたが Meta または他の団体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を提起し、Llama 素材または Llama 3.3 の出力または結果、またはそれらの一部が、あなたが所有またはライセンスする知的財産権またはその他の権利の侵害を構成すると主張する場合、本契約によってあなたに付与されたいかなるライセンスも、そのような訴訟または請求が提起された日から終了します。あなたは、Llama 素材の使用または配布に起因するまたは関連するすべての第三者の請求から Meta を弁済し、保護します。
6. 期間と終了。本契約の期間は、あなたが本契約に同意するか、Llama 素材にアクセスすることから始まり、本契約の条件に基づいて終了するまで有効です。あなたが本契約のいずれかの条項または条件に違反した場合、Meta は本契約を終了することができます。本契約が終了した後、あなたは Llama 素材を削除し、使用を停止する必要があります。第 3、4、および 7 条は、本契約の終了後も有効です。
7. 適用法律と管轄権。本契約は、カリフォルニア州の法律に準拠して解釈され、法律選択の原則は考慮されません。また、国際連合国際商品売買契約条約は本契約に適用されません。カリフォルニア州の裁判所は、本契約に起因するすべての紛争に対して排他的な管轄権を有します。
### Llama 3.3 許容使用ポリシー
Meta は、そのツールや機能（Llama 3.3 を含む）の安全かつ公正な使用を促進することに取り組んでいます。あなたが Llama 3.3 にアクセスまたは使用する場合、あなたは本許容使用ポリシー（「ポリシー」）に同意するものとします。本ポリシーの最新バージョンは、[https://www.llama.com/llama3\_3/use-policy](https://www.llama.com/llama3_3/use-policy) で見つけることができます。
禁止される使用
あなたは、Llama 3.3 を使用したり、他人に使用させたりしないことに同意します。
1. 法律または他人の権利を侵害する場合、以下を含みます。
   1. 違法または違反行為やコンテンツを行い、促進し、生成し、引き起こし、助長し、計画し、扇動し、またはさらに推進する場合、例えば：
      1. 暴力またはテロリズム
      2. 児童の搾取または傷害、児童搾取コンテンツの勧誘、作成、取得、または配布、または児童性虐待材料の報告漏れ
      3. 人身売買、搾取、および性的暴力
      4. 未成年者への情報または素材の不法配布、猥褻な素材を含む、またはそのような情報や素材に法律で要求される年齢制限を適用しない場合
      5. 性的勧誘
      6. その他の犯罪行為
   2. 個人または個人グループに対する嫌がらせ、虐待、脅迫、またはいじめを行い、促進し、扇動し、または助長する場合
   3. 雇用、雇用福利、クレジット、住宅、その他の経済的福利、またはその他の基本的な商品やサービスの提供における差別またはその他の違法または有害な行為を行い、促進し、扇動し、または助長する場合
   4. 金融、法律、医療/健康、または関連する専門分野を含む、許可されていないまたは免許のない職業活動を行う場合
   5. 個人の個人情報または機密情報、個人識別情報、健康情報、または統計情報を収集、処理、開示、生成、または推測する場合、ただし、適用される法律に基づいてその権利を取得している場合を除きます
   6. 第三者の権利を侵害、盗用、またはその他の方法で侵害する行為を行い、またはコンテンツを生成する場合、Llama 素材を使用する製品またはサービスの出力または結果を含みます
   7. 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成、または助長する場合、またはウェブサイトまたはコンピュータシステムの正常な動作、完全性、操作、または外観を無効化、過負荷、干渉、または損害する可能性のあることを行う場合
   8. 使用制限またはその他の安全対策を意図的に回避または削除する行為を行い、または Meta が無効にした機能を有効にする場合
2. 個人に死亡または身体的損傷のリスクをもたらす活動を行い、促進し、扇動し、助長し、または計画や実施を支援する場合、以下に関連する Llama 3.3 の使用を含みます。
   1. 軍事、戦争、原子力産業または応用、諜報活動、米国国務省が維持する「国際武器貿易規制」（ITAR）または 1989 年の「米国生物兵器対テロ法」または 1997 年の「化学兵器条約実施法」に拘束される材料または活動
   2. 銃器および不法武器（武器開発を含む）
   3. 違法薬物および規制/管理物質
   4. 重要インフラストラクチャ、輸送技術、または重機械の操作
   5. 自傷行為または他人への傷害、自殺、切り傷、および摂食障害を含む
   6. 暴力、虐待、または個人に身体的損傷を与えることを扇動または促進するコンテンツ
3. 他人を故意に欺瞞または誤解させる場合、以下に関連する Llama 3.3 の使用を含みます。
   1. 詐欺または虚偽情報の作成または推進を生成、促進、またはさらに推進する場合
   2. 中傷的なコンテンツを生成、促進、またはさらに配布する場合、中傷的な声明、画像、またはその他のコンテンツの作成を含みます
   3. スパムを生成、促進、またはさらに配布する場合
   4. 同意、許可、または合法的権利なしに他人になりすます場合
   5. Llama 3.3 の使用または出力が人間によって生成されたものであると表示する場合
   6. 虚偽のオンラインインタラクションを生成または助長する場合、虚偽のレビューやその他の虚偽のオンラインインタラクション方法を含みます
4. 最終ユーザーに対して AI システムの既知の危険を適切に開示しない場合
5. 違法コンテンツを生成することを目的とした、または違法または有害な行為を行う第三者のツール、モデル、またはソフトウェアと相互作用する場合、および/またはそのようなツール、モデル、またはソフトウェアの出力が Meta または Llama 3.3 に関連付けられていると表示する場合
Llama 3.3 に含まれる多モーダルモデルに関して、あなたが EU 居住者または主要事業所が EU にある会社である場合、Llama 3.3 コミュニティライセンス契約の第 1(a) 条で付与される権利はあなたに付与されません。この制限は、そのような多モーダルモデルを含む製品またはサービスの最終ユーザーには適用されません。
本ポリシーの違反行為、ソフトウェアの「バグ」、または本ポリシーの違反につながる可能性のあるその他の問題は、以下のいずれかの方法で報告してください。
* モデルの問題を報告する：[https://github.com/meta-llama/llama-models/issues](https://l.workplace.com/l.php?u=https%3A%2F%2Fgithub.com%2Fmeta-llama%2Fllama-models%2Fissues&h=AT0qV8W9BFT6NwihiOHRuKYQM_UnkzN_NmHMy91OT55gkLpgi4kQupHUl0ssR4dQsIQ8n3tfd0vtkobvsEvt1l4Ic6GXI2EeuHV8N08OG2WnbAmm0FL4ObkazC6G_256vN0lN9DsykCvCqGZ)
* モデルが生成するリスクコンテンツを報告する：[developers.facebook.com/llama\_output\_feedback](http://developers.facebook.com/llama_output_feedback)
* バグとセキュリティ問題を報告する：[facebook.com/whitehat/info](http://facebook.com/whitehat/info)
* 許容使用ポリシーの違反または Llama 3.3 の無許可使用を報告する：LlamaUseReport@meta.com

追加のフォームフィールド

追加のフォーム説明

あなたが提供する情報は、Meta プライバシーポリシー に基づいて収集、保存、処理、および共有されます。

追加のフォームボタン内容

送信

🔧 技術詳細

Llama 3.3は、最適化されたTransformerアーキテクチャを採用した自己回帰型言語モデルです。調整バージョンは、人間の有用性と安全性の嗜好に合わせるために、教師付き微調整（SFT）と人間フィードバックに基づく強化学習（RLHF）を使用しています。すべてのモデルバージョンは、推論の拡張性を向上させるためにグループ化クエリアテンション（GQA）を使用しています。

📄 ライセンス

カスタム商用ライセンスである Llama 3.3 コミュニティライセンス契約は、こちらで入手できます。