Llama 3.1 405B Instruct

language:

• en
• de
• fr
• it
• pt
• hi
• es
• th library_name: transformers base_model: meta-llama/Meta-Llama-3.1-405B license: llama3.1 pipeline_tag: text-generation tags:
• facebook
• meta
• pytorch
• llama
• llama-3 extra_gated_prompt: "### LLAMA 3.1 コミュニティライセンス契約\nLlama 3.1 バージョンリリース日: 2024年7月23日\n「契約」とは、本ライセンスに定めるLlama素材の使用、複製、頒布および改変に関する条件を意味します。\n「ドキュメンテーション」とは、Metaがhttps://llama.meta.com/doc/overviewで配布するLlama 3.1に付随する仕様書、マニュアルおよびドキュメントを意味します。\n「ライセンシー」または「あなた」とは、適用される法律、規則または規制の下で法的同意を提供するのに必要な年齢に達しており、雇用主またはその他の個人または団体（あなたがそのような個人または団体に代わって本契約を締結する場合）を法的に拘束する権限を有する、あなた、またはあなたの雇用主またはその他の個人または団体を意味します。\n「Llama 3.1」とは、Metaがhttps://llama.meta.com/llama-downloadsで配布する、機械学習モデルコード、訓練済みモデル重み、推論を可能にするコード、訓練を可能にするコード、ファインチューニングを可能にするコード、およびその他の要素を含む、基盤となる大規模言語モデルおよびソフトウェアとアルゴリズムを意味します。\n「Llama素材」とは、本契約の下で利用可能となる、Metaの専有するLlama 3.1およびドキュメンテーション（およびその一部）を総称して意味します。\n「Meta」または「私たち」とは、EEAまたはスイスに所在する場合（または団体の場合、主たる事業所がEEAまたはスイスにある場合）はMeta Platforms Ireland Limited、EEAまたはスイス以外に所在する場合はMeta Platforms, Inc.を意味します。\n \n1. ライセンス権利および再頒布\n a. 権利の付与。あなたは、Llama素材に具現化されたMetaの知的財産またはその他の権利に基づき、Llama素材を使用、複製、頒布、複製、派生作品の作成、および改変するための非独占的、世界的、譲渡不能かつロイヤリティフリーの限定ライセンスを付与されます。\n b. 再頒布および使用\n i. あなたがLlama素材（またはその派生作品）、またはそれらを含む製品またはサービス（他のAIモデルを含む）を頒布または利用可能にする場合、(A) そのようなLlama素材に本契約の写しを添付すること、および(B) 関連するウェブサイト、ユーザーインターフェース、ブログ投稿、アバウトページ、または製品ドキュメントに「Built with Llama」を目立つように表示するものとします。あなたがLlama素材またはLlama素材の出力または結果を使用して、頒布または利用可能となるAIモデルを作成、訓練、ファインチューニング、またはその他の方法で改善する場合、そのようなAIモデル名の冒頭に「Llama」を含めるものとします。\n ii. あなたが統合されたエンドユーザー製品の一部としてライセンシーからLlama素材またはその派生作品を受領する場合、本契約の第2条はあなたには適用されません。\n iii. あなたが頒布するLlama素材のすべてのコピーに、そのようなコピーの一部として頒布される「Notice」テキストファイル内に以下の帰属表示を保持する必要があります：「Llama 3.1はLlama 3.1 Community Licenseの下でライセンスされており、著作権© Meta Platforms, Inc. 全著作権所有。」\n iv. あなたのLlama素材の使用は、適用される法律および規制（貿易コンプライアンスに関する法律および規制を含む）に準拠し、Llama素材の許容可能な使用ポリシー（https://llama.meta.com/llama3_1/use-policyで利用可能）に従う必要があります。このポリシーは本契約に参照により組み込まれます。\n2. 追加の商業的条件。Llama 3.1バージョンリリース日において、ライセンシーまたはライセンシーの関連会社が提供する製品またはサービスの月間アクティブユーザーが前暦月において7億人を超える場合、あなたはMetaからライセンスを請求する必要があり、Metaはその単独の裁量でこれを付与する場合があります。Metaが明示的にそのような権利を付与しない限り、あなたは本契約の下でのいかなる権利も行使する権限を有しません。\n3. 保証の免責。適用される法律で要求されない限り、Llama素材およびその出力または結果は「現状有姿」で提供され、いかなる種類の保証もなく、Metaは明示的または黙示的を問わず、商品性、特定目的への適合性、非侵害性を含むがこれに限られない、いかなる種類の保証も否認します。あなたは、Llama素材の使用または再頒布の適切性を独自に判断し、Llama素材およびその出力または結果の使用に伴ういかなるリスクも負担するものとします。\n4. 責任の制限。いかなる場合でも、Metaまたはその関連会社は、契約、不法行為、過失、製品責任、またはその他のいかなる責任理論に基づいても、本契約に起因する逸失利益、間接的、特別、結果的、偶発的、懲罰的または例示的損害について責任を負わず、Metaまたはその関連会社がそのような損害の可能性について知らされていた場合でも同様です。\n5. 知的財産\n a. 本契約の下では商標ライセンスは付与されず、Llama素材に関連して、Metaもライセンシーも、Llama素材の説明および再頒布における合理的かつ慣習的な使用に必要な場合、または本第5条(a)に定める場合を除き、他方またはその関連会社が所有または関連するいかなる名称またはマークも使用できません。Metaはここに、第1条b.iの最後の文に準拠するために必要な範囲でのみ「Llama」（「マーク」）を使用するライセンスをあなたに付与します。あなたはMetaのブランドガイドライン（現在https://about.meta.com/brand/resources/meta/company-brand/でアクセス可能）に従うものとします。あなたのマークの使用から生じるすべてのグッドウィルはMetaの利益となります。\n b. MetaがLlama素材およびMetaが作成またはMetaのために作成された派生作品を所有することを条件として、あなたが作成したLlama素材の派生作品および改変に関しては、あなたとMetaの間で、あなたがそのような派生作品および改変の所有者となります。\n c. あなたが、Llama素材またはLlama 3.1の出力または結果、またはそのいずれかの一部が、あなたが所有またはライセンス可能な知的財産またはその他の権利の侵害を構成すると主張して、Metaまたはいかなる団体（訴訟における交叉請求または反訴を含む）に対して訴訟またはその他の手続きを提起した場合、本契約の下であなたに付与されたすべてのライセンスは、そのような訴訟または請求が提起または開始された日をもって終了します。あなたは、Llama素材の使用または頒布に起因または関連して第三者から生じるいかなる請求からもMetaを免責し、保護するものとします。\n6. 期間および終了。本契約の期間は、あなたが本契約を受諾した時、またはLlama素材にアクセスした時に開始し、本契約の条件に従って終了するまで完全な効力を有して継続します。Metaは、あなたが本契約のいかなる条件に違反した場合、本契約を終了することができます。本契約の終了時に、あなたはLlama素材の使用を停止し、削除するものとします。第3条、第4条および第7条は、本契約の終了後も存続します。\n7. 準拠法および管轄。本契約は、カリフォルニア州の法律に準拠し、解釈されるものとし、国際物品売買契約に関する国連条約は適用されません。本契約から生じるいかなる紛争についても、カリフォルニア州の裁判所が専属的管轄権を有します。\n### Llama 3.1 許容可能な使用ポリシー\nMetaは、Llama 3.1を含むそのツールおよび機能の安全かつ公正な使用を促進することを約束します。あなたがLlama 3.1にアクセスまたは使用する場合、この許容可能な使用ポリシー（「ポリシー」）に同意するものとします。このポリシーの最新版はhttps://llama.meta.com/llama3_1/use-policyで確認できます。\n#### 禁止される使用\n私たちは、すべての人がLlama 3.1を安全かつ責任を持って使用することを望んでいます。あなたは、Llama 3.1を以下の目的で使用したり、他の人に使用させたりしないことに同意するものとします：\n 1. 法律または他人の権利を侵害すること、以下を含む：\n 1. 暴力またはテロリズム\n 2. 児童の搾取または危害、児童性的虐待コンテンツの勧誘、作成、取得、または拡散、または児童性的虐待素材の報告の不履行\n 3. 人身売買、搾取、および性的暴力\n 4. 未成年者への情報または素材の違法な配布、わいせつな素材、またはそのような情報または素材に関連して法的に必要な年齢制限を実施しないこと\n 5. 性的勧誘\n 6. その他の犯罪行為\n 3. 個人または個人グループに対する嫌がらせ、虐待、脅迫、またはいじめを助長、促進、扇動、または容易にすること\n 4. 雇用、雇用福利厚生、信用、住宅、その他の経済的利益、またはその他の必須の財貨およびサービスの提供において、差別またはその他の違法または有害な行為を助長、促進、扇動、または容易にすること\n 5. 金融、法律、医療/健康、または関連する専門職を含むがこれに限らない、いかなる職業の無許可または無免許の実践に従事すること\n 6. 適用される法律で要求される権利および同意なしに、個人に関する健康、人口統計、またはその他の機密個人情報を収集、処理、開示、生成、または推論すること\n 7. 第三者の権利を侵害、盗用、またはその他の方法で侵害するいかなる行為またはコンテンツの生成に従事または容易にすること、Llama素材を使用した製品またはサービスの出力または結果を含む\n 8. 悪意のあるコード、マルウェア、コンピュータウイルスの作成、生成、または容易にすること、またはウェブサイトまたはコンピュータシステムの適切な動作、完全性、操作または外観を無効化、過負荷、干渉、または損なういかなる行為を行うこと\n2. 個人に死亡または身体的危害のリスクをもたらす活動の計画または開発を助長、促進、扇動、または支援すること、以下に関連するLlama 3.1の使用を含む：\n 1. 軍事、戦争、核産業または応用、スパイ活動、米国国務省が維持する国際武器取引規則（ITAR）の対象となる素材または活動\n 2. 銃および違法な武器（武器開発を含む）\n 3. 違法な薬物および規制/管理された物質\n 4. 重要インフラ、輸送技術、または重機の操作\n 5. 自傷行為または他人への危害、自殺、自傷、摂食障害を含む\n 6. 個人に対する暴力、虐待、または身体的危害を扇動または促進することを意図したコンテンツ\n3. 他人を故意に欺くまたは誤解させること、以下に関連するLlama 3.1の使用を含む：\n 1. 詐欺または偽情報の作成または促進の生成、促進、または助長\n 2. 中傷的なコンテンツの生成、促進、または助長、中傷的な声明、画像、またはその他のコンテンツの作成を含む\n 3. スパムの生成、促進、または拡散\n 4. 同意、許可、または法的権利なしに他人を偽装すること\n 5. Llama 3.1または出力が人間によって生成されたと表示すること\n 6. 偽のオンラインエンゲージメントの生成または容易化、偽のレビューおよびその他の偽のオンラインエンゲージメントの手段を含む\n4. エンドユーザーにあなたのAIシステムの既知の危険性を適切に開示しないこと\nこのポリシーの違反、ソフトウェアの「バグ」、またはこのポリシーの違反につながる可能性のあるその他の問題を以下のいずれかの方法で報告してください：\n * モデルに関する問題の報告: https://github.com/meta-llama/llama-models/issues\n * モデルによって生成された危険なコンテンツの報告:\n developers.facebook.com/llama_output_feedback\n * バグおよびセキュリティ上の懸念の報告: facebook.com/whitehat/info\n * 許容可能な使用ポリシーの違反またはMeta Llama 3の無許可使用の報告: LlamaUseReport@meta.com" extra_gated_fields: 名: text 姓: text 生年月日: date_picker 国: country 所属: text 職種: type: select options:
  • 学生
  • 大学院生
  • AI研究者
  • AI開発者/エンジニア
  • 記者
  • その他 geo: ip_location ? 以下の「送信」をクリックすることで、ライセンスの条件に同意し、提供する情報がMetaプライバシーポリシーに従って収集、保存、処理、共有されることを確認します : checkbox extra_gated_description: 提供いただく情報は、Metaプライバシーポリシーに従って収集、保存、処理、共有されます。 extra_gated_button_content: 送信

モデル情報

Meta Llama 3.1コレクションは、8B、70B、405Bサイズ（テキスト入力/テキスト出力）の多言語大規模言語モデル（LLM）のコレクションです。Llama 3.1の命令チューニングされたテキストのみのモデル（8B、70B、405B）は、多言語対話ユースケース向けに最適化されており、一般的な業界ベンチマークで利用可能な多くのオープンソースおよびクローズドチャットモデルを凌駕しています。

モデル開発者: Meta

モデルアーキテクチャ: Llama 3.1は、最適化されたトランスフォーマーアーキテクチャを使用する自己回帰型言語モデルです。チューニングされたバージョンは、教師ありファインチューニング（SFT）と人間のフィードバックによる強化学習（RLHF）を使用して、人間の嗜好に合わせて有用性と安全性を調整しています。

対応言語: 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語。

Llama 3.1モデルファミリー。トークン数は事前トレーニングデータのみを指します。すべてのモデルバージョンは、推論スケーラビリティを改善するためにGrouped-Query Attention（GQA）を使用しています。

モデルリリース日: 2024年7月23日。

ステータス: これはオフラインデータセットでトレーニングされた静的モデルです。調整モデルの将来のバージョンは、コミュニティのフィードバックによりモデルの安全性を向上させるにつれてリリースされます。

ライセンス: カスタム商用ライセンスであるLlama 3.1 Community Licenseがhttps://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSEで利用可能です。

モデルに関する質問やコメントを送信する場所 モデルに関するフィードバックやコメントを提供する方法の指示は、モデルのREADMEに記載されています。生成パラメータに関するより技術的な情報や、Llama 3.1をアプリケーションで使用するためのレシピについては、こちらを参照してください。

意図された使用

意図された使用ケース Llama 3.1は、複数の言語での商用および研究用途を意図しています。命令チューニングされたテキストのみのモデルはアシスタントのようなチャットを意図しており、事前トレーニング済みモデルはさまざまな自然言語生成タスクに適応できます。Llama 3.1モデルコレクションは、合成データ生成や蒸留を含む他のモデルを改善するためにそのモデルの出力を活用する能力もサポートしています。Llama 3.1 Community Licenseはこれらの使用ケースを許可しています。

範囲外 適用される法律または規制（貿易コンプライアンス法を含む）に違反する方法での使用。許容可能な使用ポリシーおよびLlama 3.1 Community Licenseで禁止されている他の方法での使用。このモデルカードで明示的にサポートされている言語以外の言語での使用。

注: Llama 3.1は、8つのサポート言語よりも広範な言語でトレーニングされています。開発者は、Llama 3.1 Community Licenseおよび許容可能な使用ポリシーに準拠し、追加の言語でのLlama 3.1の使用が安全かつ責任を持って行われることを保証する責任を負う場合、8つのサポート言語以外の言語でLlama 3.1モデルをファインチューニングすることができます。

ハードウェアとソフトウェア

トレーニング要因 事前トレーニングには、カスタムトレーニングライブラリ、Metaの独自構築GPUクラスター、および本番インフラを使用しました。ファインチューニング、注釈、および評価も本番インフラで実行されました。

**トレーニングには、以下の表に従って、H100-80GB（TDP 700W）タイプのハードウェアで合計39.3M GPU時間の計算が使用されました。トレーニング時間は各モデルのトレーニングに必要な総GPU時間であり、電力消費は使用されたGPUデバイスごとのピーク電力容量で、電力使用効率に調整されています。

トレーニング温室効果ガス排出量 推定される場所ベースの温室効果ガス排出量は、トレーニングで11,390トンCO2eqでした。2020年以来、Metaはグローバル事業で温室効果ガス排出量をネットゼロに維持し、電力使用の100％を再生可能エネルギーで賄っているため、トレーニングの市場ベースの温室効果ガス排出量は0トンCO2eqでした。