Meta Llama 3 70B Fp8

🚀 Llama 3 70B - FP8

このモデルは、Meta Llama 3によって作成されたLlama 3 70BをFriendliAIがFP8に量子化したものです。推論効率を大幅に向上させながら、高精度を維持しています。

🚀 クイックスタート

前提条件

• 最初に、Friendli Suiteにサインアップしてください。Friendliコンテナは4週間無料で利用できます。
• このガイドに従って、パーソナルアクセストークンを準備してください。
• このガイドに従って、Friendliコンテナシークレットを準備してください。

パーソナルアクセストークンの準備

PAT（パーソナルアクセストークン）は、コンテナレジストリにログインするためのユーザー資格情報です。

1. Friendli Suiteにサインインします。
2. ユーザー設定 > トークン にアクセスし、...（原文で途中で切れていた部分）

✨ 主な機能

このリポジトリに含まれるLlama 3 70Bモデルは、FriendliAIによってFP8に量子化されており、推論効率が大幅に向上しています。ただし、FP8はNVIDIA Ada、Hopper、およびBlackwell GPUアーキテクチャでのみサポートされています。詳細はFriendliAIドキュメントをご覧ください。

📦 インストール

このモデルは**Friendliコンテナ** と互換性があります。

📚 ドキュメント

説明

このリポジトリには、FriendliAIによってFP8に量子化されたLlama 3 70Bモデルが含まれています。これにより、推論効率が大幅に向上し、高精度が維持されます。なお、FP8はNVIDIA Ada、Hopper、およびBlackwell GPUアーキテクチャでのみサポートされています。詳細はFriendliAIドキュメントを参照してください。

ライセンス

元のモデルカードのライセンスを参照してください。

互換性

このモデルは**Friendliコンテナ** と互換性があります。

前提条件

• 最初に、Friendli Suiteにサインアップしてください。Friendliコンテナは4週間無料で利用できます。
• このガイドに従って、パーソナルアクセストークンを準備してください。
• このガイドに従って、Friendliコンテナシークレットを準備してください。

パーソナルアクセストークンの準備

PAT（パーソナルアクセストークン）は、コンテナレジストリにログインするためのユーザー資格情報です。

1. Friendli Suiteにサインインします。
2. ユーザー設定 > トークン にアクセスし、...（原文で途中で切れていた部分）

📄 ライセンス

META LLAMA 3 COMMUNITY LICENSE AGREEMENT

Meta Llama 3のバージョンリリース日: 2024年4月18日

「契約」とは、本契約書に定めるLlama素材の使用、複製、配布、および修正に関する条件を意味します。

「ドキュメント」とは、Metaがhttps://llama.meta.com/get-started/ で配布するMeta Llama 3に付随する仕様書、マニュアル、およびドキュメントを意味します。

「ライセンシー」または「あなた」とは、適用される法律、規則、または規制に基づき法的同意を与えるために必要な年齢であり、あなたが雇い主または他の個人もしくは団体の代理で本契約に入る場合には、それらを拘束する法的権限を有する、あなた自身、あなたの雇い主、または他の個人もしくは団体を意味します。

「Meta Llama 3」とは、Metaがhttps://llama.meta.com/llama-downloads で配布する、機械学習モデルコード、学習済みモデルの重み、推論を可能にするコード、学習を可能にするコード、微調整を可能にするコード、およびその他の要素を含む、基礎的な大規模言語モデル、ソフトウェア、およびアルゴリズムを意味します。

「Llama素材」とは、総称して、本契約の下で利用可能となるMetaの独自のMeta Llama 3およびドキュメント（およびその一部）を意味します。

「Meta」または「私たち」とは、あなたが欧州経済圏（EEA）またはスイスに所在する場合、またはあなたが団体であり、その主たる事業場がEEAまたはスイスにある場合は、Meta Platforms Ireland Limitedを意味し、それ以外の場合はMeta Platforms, Inc.を意味します。

1. ライセンス権利と再配布 a. 権利の付与 あなたには、Llama素材に含まれるMetaの知的財産またはMetaが所有するその他の権利の下で、非排他的、世界規模、非譲渡可能、無償の限定的なライセンスが付与され、Llama素材を使用、複製、配布、コピー、派生物を作成、および修正することができます。 b. 再配布と使用 i. あなたがLlama素材（またはその派生物）、またはそれらを使用する製品もしくはサービス（他のAIモデルを含む）を配布または提供する場合、あなたは（A）そのようなLlama素材とともに本契約のコピーを提供する必要があり、（B）関連するウェブサイト、ユーザーインターフェイス、ブログ記事、概要ページ、または製品ドキュメントに「Built with Meta Llama 3」を目立つように表示する必要があります。あなたがLlama素材を使用して、配布または提供されるAIモデルを作成、学習、微調整、またはその他の方法で改善する場合、そのようなAIモデル名の先頭に「Llama 3」を含める必要もあります。 ii. あなたが統合されたエンドユーザー製品の一部としてライセンシーからLlama素材またはその派生物を受け取った場合、本契約の第2条はあなたには適用されません。 iii. あなたが配布するLlama素材のすべてのコピーには、そのようなコピーの一部として配布される「Notice」テキストファイル内に、次の帰属表示を保持する必要があります：「Meta Llama 3 is licensed under the Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.」 iv. あなたのLlama素材の使用は、適用される法律および規制（貿易コンプライアンスの法律および規制を含む）に準拠し、Llama素材の許容使用ポリシー（https://llama.meta.com/llama3/use-policy で入手可能）に従う必要があります。このポリシーは、ここに参照により本契約に組み込まれます。 v. あなたは、Llama素材またはその出力もしくは結果を使用して、他の大規模言語モデル（Meta Llama 3またはその派生物を除く）を改善してはなりません。

2. 追加の商業条項 Meta Llama 3のバージョンリリース日に、ライセンシーまたはライセンシーの関連会社が提供する製品またはサービスの月間アクティブユーザー数が前の暦月において7億人を超える場合、あなたはMetaからライセンスを申請する必要があります。Metaはその裁量によりあなたにライセンスを付与することができます。Metaが明示的にそのような権利を付与するまで、あなたは本契約に基づくいかなる権利も行使することができません。

3. 保証の否認 適用される法律により要求されない限り、Llama素材およびその出力および結果は「現状有姿」で提供され、いかなる種類の保証もなく、Metaは明示的および黙示的を問わず、すべての保証を否認します。これには、所有権、非侵害、商品性、または特定の目的への適合性に関する保証が含まれます。あなたは、Llama素材の使用または再配布の適切性を独自に判断し、Llama素材の使用およびその出力および結果に関連するすべてのリスクを負います。

4. 責任の制限 いかなる場合も、Metaまたはその関連会社は、本契約に起因する契約、不法行為、過失、製品責任、またはその他の理論に基づく責任について、利益損失、または間接的、特別、結果的、偶発的、懲戒的、または罰則的損害について責任を負いません。たとえMetaまたはその関連会社がそれらの可能性を知っていたとしても同様です。

5. 知的財産 a. 本契約の下で商標ライセンスは付与されません。Llama素材に関連して、Metaまたはライセンシーは、他方またはその関連会社が所有するまたは関連するいかなる名称またはマークも、Llama素材の説明および再配布における合理的かつ慣習的な使用に必要な場合、または本条5(a)に定める場合を除き、使用することはできません。Metaはここに、あなたに第1.b.i条の最後の文に準拠するために必要な場合に限り、「Llama 3」（「マーク」）を使用するライセンスを付与します。あなたは、Metaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/ でアクセス可能）に準拠する必要があります。あなたのマークの使用に起因するすべての信頼性は、Metaの利益に帰属します。 b. MetaによるまたはMetaのためのLlama素材および派生物の所有権を前提として、あなたが作成したLlama素材の派生物および修正に関して、あなたとMetaの間で、あなたはそのような派生物および修正の所有者であり、かつ所有者となります。 c. あなたがMetaまたは他の団体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を提起し、Llama素材またはMeta Llama 3の出力もしくは結果、またはそれらの一部があなたが所有するまたはライセンスすることができる知的財産またはその他の権利の侵害を構成すると主張する場合、本契約によりあなたに付与されたすべてのライセンスは、そのような訴訟または請求が提起された日から終了します。あなたは、Llama素材の使用または配布に起因するまたは関連する第三者からのいかなる請求からもMetaを弁護し、損害を与えないようにする責任があります。

6. 契約期間と終了 本契約の期間は、あなたが本契約を受諾した時点またはLlama素材にアクセスした時点から開始し、本契約の条件に従って終了するまで有効です。あなたが本契約のいずれかの条件に違反した場合、Metaは本契約を終了することができます。本契約が終了した場合、あなたはLlama素材を削除し、使用を停止する必要があります。第3条、第4条、および第7条は、本契約の終了後も有効です。

7. 準拠法と管轄権 本契約は、カリフォルニア州の法律に基づいて管理され、解釈されます。法の選択の原則は適用されません。また、国際商品売買契約に関する国際連合条約は本契約には適用されません。本契約に起因するいかなる紛争についても、カリフォルニア州の裁判所が排他的な管轄権を有します。

Meta Llama 3 Acceptable Use Policy

Metaは、Meta Llama 3を含むツールや機能の安全で公正な使用を促進することにコミットしています。あなたがMeta Llama 3にアクセスまたは使用する場合、この許容使用ポリシー（「ポリシー」）に同意するものとします。このポリシーの最新版はhttps://llama.meta.com/llama3/use-policyで確認できます。

禁止されている使用

私たちは、誰もがMeta Llama 3を安全かつ責任を持って使用することを望んでいます。あなたは、Meta Llama 3を以下の目的で使用しないこと、または他人に使用させないことに同意します。

1. 法律または他人の権利を侵害すること
   1. 違法または不法な活動またはコンテンツの実行、促進、生成、寄与、助長、計画、扇動、または拡大を行うこと。例えば：
      1. 暴力またはテロリズム
      2. 子供の搾取または危害、子供の搾取的コンテンツの勧誘、作成、取得、または配布、または児童性虐待素材の報告の不履行
      3. 人身売買、搾取、および性的暴力
      4. 未成年者への情報または素材の違法な配布、わいせつな素材を含む、またはそのような情報または素材に関連して法律で要求される年齢制限を適用しないこと
      5. 性的勧誘
      6. その他の犯罪活動
   2. 個人または個人のグループに対する嫌がらせ、虐待、脅迫、またはいじめの実行、促進、扇動、または助長を行うこと
   3. 雇用、雇用福利、信用、住宅、その他の経済的利益、またはその他の重要な商品またはサービスの提供における差別またはその他の不法または有害な行為の実行、促進、扇動、または助長を行うこと
   4. 金融、法律、医療/健康、または関連する専門職を含む、いかなる職業の無許可または無免許の実践を行うこと
   5. 適用される法律により必要な権利および同意なしに、個人に関する健康、人口統計、またはその他の敏感な個人情報またはプライベート情報の収集、処理、開示、生成、または推論を行うこと
   6. いかなる第三者の権利を侵害、盗用、またはその他の方法で違反する行動の実行または助長、またはコンテンツの生成を行うこと。これには、Llama素材を使用する製品またはサービスの出力または結果が含まれます
   7. 悪意のあるコード、マルウェア、コンピュータウイルスの作成、生成、または助長、またはウェブサイトまたはコンピュータシステムの正常な動作、整合性、操作、または外観を無効化、過負荷、妨害、または損なうことができるその他のことを行うこと
2. 個人に対する死亡または身体的危害のリスクをもたらす活動の計画または開発の実行、促進、扇動、助長、または支援を行うこと。例えば、Meta Llama 3を以下に関連して使用すること：
   1. 軍事、戦争、原子力産業または応用、諜報活動、米国国務省が維持する国際武器輸出規制（ITAR）の対象となる素材または活動の使用
   2. 銃器および違法武器（武器開発を含む）
   3. 違法薬物および規制/管理物質
   4. 重要インフラストラクチャ、輸送技術、または重機械の操作
   5. 自傷行為または他人への危害、自殺、切り傷、および摂食障害を含む
   6. 個人に対する暴力、虐待、または身体的危害の扇動または促進を目的としたコンテンツ
3. 他人を意図的に欺瞞または誤解させること。例えば、Meta Llama 3を以下に関連して使用すること：
   1. 詐欺の生成、促進、または拡大、または誤情報の作成または促進
   2. 中傷的なコンテンツの生成、促進、または拡大、中傷的な声明、画像、またはその他のコンテンツの作成を含む
   3. スパムの生成、促進、またはさらなる配布
   4. 同意、許可、または法的権利なしに他人をなりすますこと
   5. Meta Llama 3の使用または出力が人間によって生成されたものであると表現すること
   6. 偽のオンラインエンゲージメントの生成または促進、偽のレビューおよびその他の偽のオンラインエンゲージメントの手段を含む
4. エンドユーザーに対して、あなたのAIシステムの既知の危険を適切に開示しないこと

このポリシーの違反、ソフトウェアの「バグ」、またはこのポリシーの違反につながる可能性のあるその他の問題は、以下のいずれかの方法で報告してください。 * モデルの問題の報告: https://github.com/meta-llama/llama3 * モデルによって生成された危険なコンテンツの報告: developers.facebook.com/llama_output_feedback * バグおよびセキュリティの懸念の報告: facebook.com/whitehat/info * 許容使用ポリシーの違反またはMeta Llama 3の無許可使用の報告: LlamaUseReport@meta.com