Meta Llama 3.1 8B GGUF

base_model: meta-llama/Meta-Llama-3.1-8B language:

• en
• de
• fr
• it
• pt
• hi
• es
• th license: llama3.1 pipeline_tag: text-generation tags:
• facebook
• meta
• pytorch
• llama
• llama-3 quantized_by: fedric95 extra_gated_prompt: "### LLAMA 3.1 コミュニティライセンス契約\nLlama 3.1 バージョンリリース日: 2024年7月23日\n「契約」とは、本ライセンスに定めるLlama素材の使用、複製、頒布、改変に関する条件を意味します。\n「ドキュメンテーション」とは、Metaがhttps://llama.meta.com/doc/overviewで配布するLlama 3.1に付随する仕様書、マニュアルおよび文書を指します。\n「ライセンシー」または「あなた」とは、適用される法律、規則または規制の下で法的同意を提供するのに必要な年齢に達しており、あなたが雇用主またはその他の個人・団体に代わって本契約を締結する場合、当該雇用主または個人・団体を法的に拘束する権限を有する、あなたまたはあなたの雇用主もしくはその他の個人・団体を意味します。\n「Llama 3.1」とは、https://llama.meta.com/llama-downloadsでMetaが配布する、機械学習モデルコード、訓練済みモデル重み、推論用コード、訓練用コード、ファインチューニング用コードおよびその他の要素を含む基盤的大規模言語モデルおよびソフトウェア・アルゴリズムを指します。\n「Llama素材」とは、本契約の下で提供されるMetaの独自のLlama 3.1およびドキュメンテーション（およびその一部）を総称します。\n「Meta」または「当社」とは、EEAまたはスイスに所在する（または団体の場合、主たる事業所がEEAまたはスイスにある）場合Meta Platforms Ireland Limitedを、EEAおよびスイス以外に所在する場合Meta Platforms, Inc.を指します。\n \n1. ライセンス権利と再頒布\n a. 権利の付与。あなたは、Llama素材に具現化されたMetaの知的財産権またはその他の権利に基づき、Llama素材を使用、複製、頒布、複写、派生作品の作成および改変を行うための非独占的、世界的、非譲渡的かつロイヤリティ無料の限定ライセンスを付与されます。\n b. 再頒布と使用\n i. あなたがLlama素材（またはその派生作品）、またはそれらを含む製品・サービス（他のAIモデルを含む）を頒布または提供する場合、(A)当該Llama素材に本契約の写しを添付すること、(B)関連するウェブサイト、ユーザーインターフェース、ブログ記事、アバウトページまたは製品ドキュメンテーションで「Built with Llama」を目立つように表示することが義務付けられます。Llama素材またはその出力・結果を使用してAIモデルを作成、訓練、ファインチューニングまたはその他の方法で改善し、それを頒布または提供する場合、当該AIモデル名の先頭に「Llama」を含める必要があります。\n ii. あなたが統合エンドユーザー製品の一部としてライセンシーからLlama素材またはその派生作品を受け取る場合、本契約の第2条は適用されません。\n iii. あなたが頒布するLlama素材のすべてのコピーに、「Notice」テキストファイルの一部として以下の帰属表示を保持する必要があります：「Llama 3.1はLlama 3.1 Community Licenseの下でライセンスされており、著作権© Meta Platforms, Inc. All Rights Reserved.」\n iv. Llama素材の使用は、適用される法律・規制（貿易コンプライアンス関連法規を含む）に準拠し、Llama素材の許容使用ポリシー（https://llama.meta.com/llama3_1/use-policyで入手可能）に従う必要があります。同ポリシーは本契約に組み込まれるものとします。\n2. 追加の商用条件。Llama 3.1バージョンリリース日において、ライセンシーまたはその関連会社が提供する製品・サービスの月間アクティブユーザー数が前暦月に7億人を超える場合、Metaからライセンスを取得する必要があり、Metaが単独の裁量でこれを付与する場合を除き、本契約に基づくいかなる権利も行使する権限を有しません。\n3. 保証の免責。適用される法律で要求されない限り、Llama素材およびその出力・結果は「現状有姿」で提供され、いかなる保証もなく、Metaは明示的または黙示的を問わず、商品性、特定目的適合性、権利非侵害を含むすべての保証を否認します。Llama素材の使用または再頒布の適切性を判断する責任はあなたにあり、Llama素材およびその出力・結果の使用に伴うすべてのリスクを負担します。\n4. 責任の制限。契約、不法行為、過失、製品責任その他の如何なる責任理論に基づいても、Metaまたはその関連会社は、本契約に起因する逸失利益、間接的、特別、結果的、付随的、懲罰的または模範的損害について、その可能性について助言を受けていた場合でも、一切責任を負いません。\n5. 知的財産\n a. 本契約に基づく商標ライセンスは付与されず、Llama素材に関連して、Metaもライセンシーも、合理的かつ慣習的なLlama素材の説明および再頒布に必要な場合または本第5条(a)項に定める場合を除き、相手方またはその関連会社が所有または関連する名称または商標を使用することはできません。Metaはここに、第1条(b)(i)項の最終文に準拠するために必要な範囲でのみ「Llama」（「商標」）の使用を許諾します。あなたはMetaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/でアクセス可能）に従うものとします。商標の使用から生じるすべての信用はMetaに帰属します。\n b. MetaがLlama素材およびMetaが作成またはMetaのために作成された派生作品を所有することを条件に、あなたが作成したLlama素材の派生作品および改変については、あなたとMetaの間で、あなたがその所有者となります。\n c. あなたが、Llama素材またはLlama 3.1の出力・結果もしくはその一部が、あなたが所有またはライセンス可能な知的財産権またはその他の権利を侵害すると主張してMetaまたはいかなる団体に対しても訴訟その他の手続き（訴訟における交叉請求または反訴を含む）を提起した場合、本契約に基づいてあなたに付与されたすべてのライセンスは、当該訴訟または請求が提起または開始された日をもって終了します。あなたは、Llama素材の使用または頒布に起因または関連して第三者からMetaに対して提起されるいかなる請求からもMetaを補償し免責するものとします。\n6. 期間と終了。本契約の期間は、あなたが本契約を受諾またはLlama素材にアクセスした時に開始し、本契約の条件に従って終了するまで完全な効力を有します。Metaは、あなたが本契約のいかなる条件に違反した場合、本契約を終了することができます。本契約の終了時、あなたはLlama素材の使用を中止し削除するものとします。第3条、第4条および第7条は、本契約の終了後も存続します。\n7. 準拠法および管轄。本契約はカリフォルニア州法に準拠し解釈されるものとし、国際物品売買契約に関する国連条約は適用されません。本契約から生じるいかなる紛争もカリフォルニア州の裁判所が専属的管轄権を有します。\n### Llama 3.1 許容使用ポリシー\nMetaは、Llama 3.1を含むそのツールと機能の安全かつ公正な使用を促進することを約束します。Llama 3.1にアクセスまたは使用する場合、あなたは本許容使用ポリシー（「ポリシー」）に同意するものとします。本ポリシーの最新版はhttps://llama.meta.com/llama3_1/use-policyで確認できます。\n#### 禁止される使用\n私たちは誰もがLlama 3.1を安全かつ責任を持って使用することを望んでいます。あなたは、Llama 3.1を以下の目的で使用したり、他者が使用することを許可したりしないことに同意するものとします：\n 1. 法律または他者の権利を侵害する行為、以下を含む：\n 1. 違法または不法な活動またはコンテンツに関与、促進、生成、寄与、奨励、計画、扇動または助長すること、例：\n 1. 暴力またはテロリズム\n 2. 児童の搾取または危害、児童搾取コンテンツの勧誘、作成、取得または頒布、児童性的虐待素材の未報告\n 3. 人身取引、搾取および性的暴力\n 4. 未成年者への情報または資料の違法な頒布、わいせつな資料、または当該情報・資料に関連して法的に要求される年齢確認の不実施\n 5. 性的勧誘\n 6. その他の犯罪行為\n 3. 個人または個人のグループに対する嫌がらせ、虐待、脅迫またはいじめに関与、促進、扇動または容易化\n 4. 雇用、雇用福利厚生、信用、住宅、その他の経済的利益または必須財・サービスの提供における差別またはその他の違法・有害な行為に関与、促進、扇動または容易化\n 5. 金融、法律、医療/健康または関連専門職を含むがこれに限らない、いかなる専門職の無許可または無免許での営業\n 6. 適用される法律で要求される権利と同意なしに、個人に関する健康、人口統計またはその他の機密個人情報の収集、処理、開示、生成または推論\n 7. 第三者の権利を侵害、横領またはその他の方法で侵害する行為またはLlama素材を使用した製品・サービスの出力・結果の生成に関与または容易化\n 8. マルウェア、コンピュータウイルスを作成、生成または容易化、またはウェブサイト・コンピュータシステムの適切な動作、完全性、操作または外観を無効化、過負荷、干渉または損なう行為\n2. 死亡または身体危害のリスクを伴う活動の計画・開発に関与、促進、扇動、支援、以下を含む：\n 1. 軍事、戦争、核産業・用途、スパイ活動、米国国務省が管理する国際武器取引規則（ITAR）の対象となる物質・活動\n 2. 銃器および違法武器（兵器開発を含む）\n 3. 違法薬物および規制物質\n 4. 重要インフラ、輸送技術または重機械の操作\n 5. 自傷行為または他者への危害、自殺、自傷、摂食障害\n 6. 個人に対する暴力、虐待または身体危害を扇動・促進する意図のあるコンテンツ\n3. 他者を故意に欺くまたは誤解させる行為、以下を含む：\n 1. 詐欺または虚偽情報の作成・促進\n 2. 中傷的コンテンツ（中傷的声明、画像またはその他のコンテンツの作成）の生成、促進\n 3. スパムの生成、促進\n 4. 同意・権限・法的権利なしに他者を偽装\n 5. Llama 3.1またはその出力が人間生成であると表示\n 6. 偽レビューおよびその他の偽のオンライン関与手段を含む、虚偽のオンライン関与の生成・容易化\n4. AIシステムの既知の危険性をエンドユーザーに適切に開示しないこと\n本ポリシー違反、ソフトウェア「バグ」または本ポリシー違反につながる可能性のあるその他の問題は、以下の方法のいずれかで報告してください：\n * モデルに関する問題の報告：https://github.com/meta-llama/llama-models/issues\n * モデルが生成した危険なコンテンツの報告：\n developers.facebook.com/llama_output_feedback\n * バグおよびセキュリティ懸念の報告：facebook.com/whitehat/info\n * 許容使用ポリシー違反またはMeta Llama 3の無許可使用の報告：LlamaUseReport@meta.com" extra_gated_fields: 名: text 姓: text 生年月日: date_picker 国: country 所属: text 職種: type: select options:
  • 学生
  • 大学院生
  • AI研究者
  • AI開発者/エンジニア
  • 記者
  • その他 geo: ip_location ? 以下の送信をクリックすることで、ライセンス条項に同意し、提供する情報がMetaプライバシーポリシーに従って収集、保存、処理、共有されることを承認します : checkbox extra_gated_description: 提供いただく情報は、Metaプライバシーポリシーに従って収集、保存、処理、共有されます。 extra_gated_button_content: 送信

Meta-Llama-3.1-8BのLlamacpp量子化

llama.cppのリリースb3472を使用して量子化しました。

オリジナルモデル: https://huggingface.co/meta-llama/Meta-Llama-3.1-8B

以下のファイルをダウンロード（ブランチ全体ではなく）:

ベンチマーク結果

以下のデータを使用して計算されました:

hellaswage_val_full

winogrande-debiased-eval

mmlu-validation

huggingface-cliを使用したダウンロード

まず、huggingface-cliがインストールされていることを確認してください:

pip install -U "huggingface_hub[cli]"

その後、特定のファイルを指定してダウンロードできます:

huggingface-cli download fedric95/Meta-Llama-3.1-8B-GGUF --include "Meta-Llama-3.1-8B-Q4_K_M.gguf" --local-dir ./

モデルが50GBを超える場合、複数のファイルに分割されています。それらすべてをローカルフォルダにダウンロードするには、以下を実行します:

huggingface-cli download fedric95/Meta-Llama-3.1-8B-GGUF --include "Meta-Llama-3.1-8B-Q8_0.gguf/*" --local-dir Meta-Llama-3.1-8B-Q8_0

新しいlocal-dir（Meta-Llama-3.1-8B-Q8_0）を指定するか、すべてをその場（./）にダウンロードできます。

再現性

https://github.com/ggerganov/llama.cpp/issues/8650#issuecomment-2261497976