Llama 3 8b Quantized

🚀 4ビット量子化Llama 3モデル

本プロジェクトでは、Llama 3モデルの4ビット量子化バージョンを提供しています。このバージョンは最適化されており、メモリ使用量を削減し、推論速度を向上させることができ、計算リソースが限られた環境に適しています。

🚀 クイックスタート

このモデルを効率的に使用するには、以下の手順に従ってください。

量子化モデルの読み込み

特定のパラメータを使用してモデルを読み込み、4ビット精度を使用するようにします。

from transformers import AutoModelForCausalLM

model_4bit = AutoModelForCausalLM.from_pretrained("SweatyCrayfish/llama-3-8b-quantized", device_map="auto", load_in_4bit=True)

コンポーネント精度の調整

他のコンポーネントの精度を調整します。これらのコンポーネントはデフォルトでtorch.float16に変換されます。

import torch
from transformers import AutoModelForCausalLM

model_4bit = AutoModelForCausalLM.from_pretrained("SweatyCrayfish/llama-3-8b-quantized", load_in_4bit=True, torch_dtype=torch.float32)
print(model_4bit.model.decoder.layers[-1].final_layer_norm.weight.dtype)

✨ 主な機能

• メモリ効率が高い：メモリ使用量を大幅に削減し、メモリが限られたデバイスでのデプロイを可能にします。
• 推論速度が速い：ハードウェアが低ビット計算を処理する能力に応じて、推論時間を短縮します。

📚 ドキュメント

モデルの詳細

📄 ライセンス

META LLAMA 3コミュニティライセンス契約

Meta Llama 3のリリース日：2024年4月18日

「契約」とは、本契約で定められたLlama材料の使用、複製、配布、および改変の条件を指します。

「ドキュメント」とは、Metaがhttps://llama.meta.com/get-started/ で配布するMeta Llama 3に付属する仕様、マニュアル、およびドキュメントを指します。

「被許諾者」または「あなた」とは、あなた、あなたの雇用主、またはあなたがその者または団体を代表して本契約に署名する場合は、他の個人または団体を指し、あなたは適用される法律、規則、または規制が定める法的同意を与える年齢に達しており、あなたが彼らを代表して本契約に署名する場合は、あなたの雇用主またはその他の個人または団体を拘束する権限を持っています。

「Meta Llama 3」とは、基礎となる大規模言語モデル、ならびにソフトウェアおよびアルゴリズムを指し、機械学習モデルコード、学習済みモデルの重み、推論を有効にするコード、学習を有効にするコード、微調整を有効にするコード、およびMetaがhttps://llama.meta.com/llama-downloads で配布する上記の他の要素を含みます。

「Llama材料」とは、本契約に基づいて提供されるMetaの独自のMeta Llama 3およびドキュメント（およびその一部）の総称を指します。

「Meta」または「私たち」とは、あなたが欧州経済圏（EEA）またはスイスに所在する場合、またはあなたが法人であり、あなたの主たる営業所がEEAまたはスイスにある場合はMeta Platforms Ireland Limitedを指し、あなたがEEAまたはスイス以外に所在する場合はMeta Platforms, Inc.を指します。

1. 許諾権利と再配布

a. 権利の付与。あなたには、Llama材料に含まれるMetaの知的財産権またはMetaが所有するその他の権利の下で、Llama材料を使用、複製、配布、コピー、二次的著作物を作成し、改変するための非排他的、世界規模の、譲渡不能かつ無料の限定的な許諾が付与されます。

b. 再配布と使用

i. あなたがLlama材料（またはその二次的著作物）を配布または提供する場合、またはその材料を使用する製品またはサービスを提供する場合、あなたは（A）そのようなLlama材料とともに本契約のコピーを提供する必要があります。また、（B）関連するウェブサイト、ユーザーインターフェース、ブログ記事、アバウトページ、または製品ドキュメントに「Built with Meta Llama 3」を明示的に表示する必要があります。あなたがLlama材料を使用してAIモデルを作成、学習、微調整、またはその他の方法で改善し、そのモデルを配布または提供する場合、あなたはまた、そのようなAIモデルの名前の冒頭に「Llama 3」を含める必要があります。

ii. あなたが被許諾者からLlama材料またはその二次的著作物を最終ユーザー製品の一部として受け取る場合、本契約の第2条はあなたには適用されません。

iii. あなたは、配布するすべてのLlama材料のコピーにおいて、そのようなコピーの一部として配布される「通知」テキストファイルに、以下の帰属声明を含める必要があります。「Meta Llama 3はMeta Llama 3コミュニティライセンス契約の下で提供されており、著作権は© Meta Platforms, Inc. すべての権利を留保します。」

iv. あなたは、Llama材料の使用に際して、適用される法律および規制（貿易コンプライアンスの法律および規制を含む）に従い、かつLlama材料の許容使用ポリシー（https://llama.meta.com/llama3/use-policy で入手可能）に従う必要があります。このポリシーは、ここに引用することにより本契約に組み込まれます。

v. あなたは、Llama材料またはLlama材料の出力または結果を使用して、他の大規模言語モデル（Meta Llama 3またはその二次的著作物を除く）を改善することはできません。

2. 追加の商業条項。Meta Llama 3のリリース日に、被許諾者または被許諾者の関連会社が提供する製品またはサービスの月間アクティブユーザーが前月のカレンダー月で7億人を超える場合、あなたはMetaに許諾を請求する必要があります。Metaはその裁量により許諾を与えるかどうかを決定することができ、Metaが明示的にそのような権利を与えるまで、あなたは本契約に基づくいかなる権利も行使することができません。

3. 保証の否認。適用される法律が要求する場合を除き、Llama材料およびその出力および結果は「現状のまま」提供され、いかなる形式の保証も付与されません。Metaは、すべての明示的および暗示的な保証を否認します。これには、所有権、非侵害、適銷性、または特定の目的に適合することに関する保証が含まれます。あなたは、Llama材料の使用または再配布の適切性を独自に判断する責任があり、Llama材料およびその出力および結果の使用に関連するすべてのリスクを負います。

4. 責任の制限。いかなる場合も、Metaまたはその関連会社は、本契約に起因する利益の損失、または間接的、特殊的、結果的、偶発的、懲罰的、または罰則的な損害に対して責任を負いません。責任の理論が契約、不法行為、過失、製品責任、またはその他のものであるかどうかに関係なく、Metaまたはその関連会社がそのような損害の可能性を知っていた場合でも同様です。

5. 知的財産

a. 本契約では商標の許諾は付与されておらず、Llama材料に関連して、Llama材料の記述および再配布における合理的かつ慣習的な使用に必要な場合、または本节5(a)に記載されている場合を除き、Metaおよび被許諾者は、相手方またはその関連会社が所有または関連するいかなる名称または標章も使用することはできません。Metaは、あなたに対して、第1.b.i条の最後の文の要件を遵守するためにのみ「Llama 3」（「標章」）を使用する許諾を与えます。あなたは、Metaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/ でアクセス可能）に従う必要があります。あなたが標章を使用することによって生じるすべての商標権は、Metaの利益に帰属します。

b. MetaがLlama材料およびそのために作成された二次的著作物の所有者であることを考慮すると、あなたが作成したLlama材料の二次的著作物および改変に関して、あなたとMetaの間で、あなたはそのような二次的著作物および改変の所有者であり、かつそのままであることになります。

c. あなたがMetaまたは他の団体に対して、Llama材料またはMeta Llama 3の出力または結果、またはそれらのいずれかの一部があなたが所有または許諾することができる知的財産権または他の権利を侵害していると主張する訴訟または他の法的手続き（訴訟における交差請求または反訴を含む）を提起する場合、本契約によってあなたに付与されたいかなる許諾も、そのような訴訟または請求が提起された日から終了します。あなたは、Llama材料の使用または配布に起因する、またはそれに関連するすべての第三者の請求からMetaを弁済し、免責する責任があります。

6. 期間と終了。本契約の期間は、あなたが本契約を受諾するか、Llama材料にアクセスするときから始まり、本契約の条件に基づいて終了するまで完全に有効です。あなたが本契約のいずれかの条件に違反した場合、Metaは本契約を終了することができます。本契約が終了した後、あなたはLlama材料を削除し、使用を停止する必要があります。第3、4、および7条は、本契約が終了した後も有効です。

7. 適用法律と管轄権。本契約は、カリフォルニア州の法律に準拠し、解釈されます。法律選択の原則は考慮されません。また、国際連合国際商品売買契約条約は本契約には適用されません。カリフォルニア州の裁判所は、本契約に起因するすべての紛争に対して排他的な管轄権を有します。

Meta Llama 3許容使用ポリシー

Metaは、そのツールおよび機能（Meta Llama 3を含む）の安全かつ公正な使用を促進することに取り組んでいます。あなたがMeta Llama 3にアクセスまたは使用する場合、あなたは本許容使用ポリシー（「ポリシー」）に同意するものとします。本ポリシーの最新バージョンはhttps://llama.meta.com/llama3/use-policy で入手できます。

禁止される使用方法

私たちは、誰もが安全かつ責任を持ってMeta Llama 3を使用することを望んでいます。あなたは、以下の行為を行わないこと、または他人に行わせないことに同意するものとします。

1. 法律または他人の権利に違反する活動を行い、促進し、扇動し、助長し、または支援すること。
   1. 違法または違規行為または内容を行い、促進し、生成し、促成し、助長し、計画し、扇動し、またはさらに推進すること。例えば：
      1. 暴力またはテロリズム
      2. 児童の搾取または傷害、児童搾取コンテンツの勧誘、作成、取得、または配布、または児童性虐待材料の報告を怠ること
      3. 人身売買、搾取、および性的暴力
      4. 未成年者への情報または材料の違法な配布、わいせつな材料を含む、またはそのような情報または材料に法律で要求される年齢制限を適用しないこと
      5. 性的勧誘
      6. その他の犯罪活動
   2. 個人またはグループに対する嫌がらせ、虐待、脅迫、またはいじめを行い、促進し、扇動し、または助長すること
   3. 雇用、雇用福利、信用、住宅、その他の経済的福利、またはその他の基本的な商品およびサービスの提供における差別またはその他の違法または有害な行為を行い、促進し、扇動し、または助長すること
   4. 金融、法律、医療/健康、または関連する専門分野の実践を含む、許可を得ていないまたは免許のない職業実践を行うこと
   5. 適用される法律で要求される権利および同意を得ることなく、個人の健康、統計情報、またはその他の敏感な個人またはプライベート情報を収集、処理、開示、生成、または推測すること
   6. いかなる第三者の権利を侵害、盗用、またはその他の方法で侵害する行為を行い、またはいかなるコンテンツを生成すること、Llama材料を使用するいかなる製品またはサービスの出力または結果を含む
   7. 悪意のあるコード、マルウェア、コンピュータウイルスの作成を行い、またはウェブサイトまたはコンピュータシステムの正常な動作、完全性、操作、または外観を無効化、過負荷、妨害、または損害する可能性のあるその他の操作を行うこと
2. 個人に死亡または身体的な傷害のリスクをもたらす活動の計画または実施を行い、促進し、扇動し、助長し、または支援すること。これには、以下の分野に関連するMeta Llama 3の使用が含まれます。
   1. 軍事、戦争、原子力産業または応用、スパイ活動、米国国務省が維持する「国際武器貿易規則」（ITAR）によって規制される材料または活動
   2. 銃器および違法武器（武器開発を含む）
   3. 違法薬物および規制/管理物質
   4. 重要インフラ、輸送技術、または重機械の操作
   5. 自傷行為または他人への傷害、自殺、切り傷、および摂食障害を含む
   6. 暴力、虐待、または個人に身体的な傷害を与えることを扇動または促進することを目的としたコンテンツ
3. 他人を意図的に欺瞞または誤解させること。これには、以下の分野に関連するMeta Llama 3の使用が含まれます。
   1. 詐欺または虚偽情報の作成または配布を促進またはさらに推進すること
   2. 誹謗中傷的なコンテンツを生成、促進、またはさらに推進すること、誹謗中傷的な声明、画像、またはその他のコンテンツの作成を含む
   3. スパムの生成、促進、またはさらに配布すること
   4. 同意、許可、または合法的な権利を得ることなく、他人になりすますこと
   5. Meta Llama 3の使用または出力が人間によって生成されたものであると主張すること
   6. 虚偽のオンラインインタラクションを生成または助長すること、虚偽のコメントおよびその他の虚偽のオンラインインタラクション方法を含む
4. 最終ユーザーに対して、あなたのAIシステムの既知の危険性を適切に開示しないこと

本ポリシー違反、ソフトウェアの「バグ」、または本ポリシー違反の原因となる可能性のあるその他の問題は、以下のいずれかの方法で報告してください。

• モデルの問題を報告する：https://github.com/meta-llama/llama3
• モデルが生成したリスクコンテンツを報告する：developers.facebook.com/llama_output_feedback
• バグとセキュリティ問題を報告する：facebook.com/whitehat/info
• Meta Llama 3の許容使用ポリシー違反または無許可使用を報告する：LlamaUseReport@meta.com

📖 引用

@article{llama3modelcard,
  title={Llama 3 Model Card},
  author={AI@Meta},
  year={2024},
  url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}