Llama 3.3 70B Instruct Abliterated GGUF

quantized_by: bartowski pipeline_tag: text-generation language:

• en
• fr
• it
• pt
• hi
• es
• th
• de extra_gated_prompt: "### LLAMA 3.3 コミュニティライセンス契約\nLlama 3.3 バージョンリリース日: 2024年12月6日\n「本契約」とは、Llama素材の使用、複製、配布および改変に関する本契約に定める条件を意味します。\n「ドキュメンテーション」とは、Metaがhttps://www.llama.com/docs/overviewで配布するLlama 3.3に付随する仕様書、マニュアルおよびドキュメンテーションを意味します。\n「ライセンシー」または「あなた」とは、適用される法律、規則または規制の下で法的同意を提供するのに必要な年齢に達しており、また、あなたが本契約をそのような個人または団体に代わって締結する場合には、あなたの雇用主またはその他の個人または団体を法的に拘束する権限を有する、あなた、またはあなたの雇用主またはその他の個人または団体を意味します。\n「Llama 3.3」とは、Metaがhttps://www.llama.com/llama-downloadsで配布する、機械学習モデルコード、訓練済みモデルウェイト、推論を可能にするコード、訓練を可能にするコード、ファインチューニングを可能にするコード、およびその他の要素を含む、基盤となる大規模言語モデルおよびソフトウェアとアルゴリズムを意味します。\n「Llama素材」とは、本契約の下で利用可能となる、Metaの独自のLlama 3.3およびドキュメンテーション（およびその一部）を総称して意味します。\n「Meta」または「当社」とは、あなたが所在する地域（または、あなたが団体の場合、主たる事業所が所在する地域）がEEAまたはスイスである場合にはMeta Platforms Ireland Limitedを、EEAまたはスイス以外の地域である場合にはMeta Platforms, Inc.を意味します。\n下記の「同意する」をクリックするか、Llama素材のいかなる部分または要素を使用または配布することにより、あなたは本契約に拘束されることに同意したものとみなされます。\n1. ライセンス権利および再配布\na. 権利の付与。あなたは、Llama素材に具現化されたMetaの知的財産またはその他の権利に基づき、Llama素材を使用、複製、配布、複写、派生作品を作成し、およびLlama素材に改変を加えるための、非独占的、世界的、非譲渡的、かつロイヤリティフリーの限定ライセンスを付与されます。\nb. 再配布および使用\ni. あなたがLlama素材（またはその派生作品）、またはそれらを含む製品またはサービス（他のAIモデルを含む）を配布または利用可能にする場合、(A)そのようなLlama素材に本契約の写しを添付すること、および(B)関連するウェブサイト、ユーザーインターフェース、ブログ投稿、アバウトページ、または製品ドキュメンテーションにおいて「Built with Llama」を目立つように表示するものとします。Llama素材またはLlama素材の出力または結果を使用して、配布または利用可能となるAIモデルを作成、訓練、ファインチューニング、またはその他の方法で改善する場合、そのようなAIモデルの名称の冒頭に「Llama」を含めるものとします。\nii. あなたが統合されたエンドユーザー製品の一部としてライセンシーからLlama素材またはその派生作品を受け取る場合、本契約の第2条はあなたには適用されません。\niii. あなたが配布するLlama素材のすべてのコピーに、そのようなコピーの一部として配布される「Notice」テキストファイル内に、次の帰属表示を保持しなければなりません：「Llama 3.3はLlama 3.3 Community Licenseの下でライセンスされており、著作権© Meta Platforms, Inc. 全著作権所有。」\niv. あなたのLlama素材の使用は、適用される法律および規制（貿易コンプライアンスに関する法律および規制を含む）に準拠し、Llama素材の許容可能な使用ポリシー（https://www.llama.com/llama3\_3/use-policyで利用可能）に従うものとします。この許容可能な使用ポリシーは、本契約に参照により組み込まれます。\n2. 追加の商用条件。Llama 3.3バージョンリリース日において、ライセンシーまたはライセンシーの関連会社によって提供される製品またはサービスの月間アクティブユーザーが前暦月において7億人を超える場合、あなたはMetaからライセンスを請求しなければならず、Metaはその単独の裁量でこれを付与する場合があります。Metaが明示的にそのような権利を付与しない限り、あなたは本契約の下でのいかなる権利も行使する権限を有しません。\n3. 保証の免責。適用される法律で要求されない限り、Llama素材およびその出力と結果は「現状のまま」提供され、いかなる種類の保証もなく、Metaは明示的または黙示的を問わず、所有権、非侵害、商品性、または特定の目的への適合性に関する保証を含む、いかなる種類の保証も否認します。Llama素材の使用または再配布の適切性を判断する責任はあなたにあり、Llama素材およびその出力と結果の使用に関連するいかなるリスクもあなたが負うものとします。\n4. 責任の制限。いかなる場合でも、Metaまたはその関連会社は、本契約に起因する、契約、不法行為、過失、製品責任、またはその他の如何なる責任理論の下でも、逸失利益または間接的、特別、結果的、付随的、懲罰的または例示的損害について、そのような損害の可能性について通知を受けていた場合でも、責任を負いません。\n5. 知的財産\na. 本契約の下では商標ライセンスは付与されず、Llama素材に関連して、Metaもライセンシーも、Llama素材の記述および再配布における合理的かつ慣習的な使用に必要な場合、または本第5条(a)に定める場合を除き、相手またはその関連会社が所有または関連するいかなる名称または商標も使用できません。Metaはここに、第1条(b)(i)の最後の文を遵守するために必要な範囲でのみ「Llama」（「商標」）を使用するライセンスをあなたに付与します。あなたはMetaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/でアクセス可能）に従うものとします。あなたの商標の使用から生じるすべての信用はMetaに帰属します。\nb. MetaがLlama素材およびMetaが作成またはMetaのために作成された派生作品を所有することを条件として、あなたが作成したLlama素材の派生作品および改変に関しては、あなたとMetaの間で、あなたがそのような派生作品および改変の所有者であるものとします。\nc. あなたが、Llama素材またはLlama 3.3の出力または結果、またはそのいずれかの一部が、あなたが所有またはライセンス可能な知的財産またはその他の権利の侵害を構成すると主張して、Metaまたはいかなる団体（訴訟における交叉請求または反訴を含む）に対して訴訟またはその他の手続きを開始した場合、本契約の下であなたに付与されたすべてのライセンスは、そのような訴訟または請求が提起または開始された日をもって終了します。あなたは、Llama素材の使用または配布に起因または関連するいかなる第三者の請求からMetaを免責し、保護するものとします。\n6. 期間および終了。本契約の期間は、あなたが本契約を承諾した時またはLlama素材にアクセスした時に開始し、本契約の条件に従って終了するまで完全な効力を有して継続します。Metaは、あなたが本契約のいずれかの条件に違反した場合、本契約を終了することができます。本契約の終了時、あなたはLlama素材の使用を停止し、削除するものとします。第3条、第4条および第7条は、本契約の終了後も存続します。\n7. 準拠法および管轄。本契約は、カリフォルニア州の法律に準拠し、解釈されるものとし、国際物品売買契約に関する国際連合条約は適用されません。本契約から生じるいかなる紛争についても、カリフォルニア州の裁判所が専属的管轄権を有します。\n### Llama 3.3 許容可能な使用ポリシー\nMetaは、Llama 3.3を含むそのツールおよび機能の安全かつ公正な使用を促進することに尽力しています。Llama 3.3にアクセスまたは使用する場合、あなたは本許容可能な使用ポリシー（「ポリシー」）に同意したものとみなされます。本ポリシーの最新版はhttps://www.llama.com/llama3\_3/use-policyで確認できます。\n禁止される使用\nMetaは、すべての人がLlama 3.3を安全かつ責任を持って使用することを望んでいます。あなたは、Llama 3.3を以下の目的で使用したり、他の者に使用させたりしないことに同意するものとします：\n1. 法律または他者の権利を侵害する行為、以下を含む：\n\n 1. 以下のような違法または不法な活動またはコンテンツに関与、促進、生成、寄与、奨励、計画、扇動、または関与すること：\n 1. 暴力またはテロリズム\n 2. 子供の搾取または危害、児童性的虐待素材の勧誘、作成、取得、または頒布、または児童性的虐待素材の報告の不履行\n 3. 人身取引、搾取、および性的暴力\n 4. 未成年者への情報または資料の違法な頒布、わいせつな資料を含む、またはそのような情報または資料に関連して法的に必要な年齢制限を実施しないこと\n 5. 性的勧誘\n 6. その他の犯罪行為\n\n 2. 個人または個人のグループに対する嫌がらせ、虐待、脅迫、またはいじめに関与、促進、扇動、または容易にすること\n\n 3. 雇用、雇用福利厚生、信用、住宅、その他の経済的利益、またはその他の必須の財およびサービスの提供において、差別またはその他の違法または有害な行為に関与、促進、扇動、または容易にすること\n\n 4. 金融、法律、医療/健康、または関連する専門職を含むがこれに限らない、いかなる職業の無許可または無免許の実践に関与すること\n\n 5. 個人の身元、健康、または人口統計情報を含む、個人に関する私的または機密情報を、適用される法律に従ってその権利を取得していない限り、収集、処理、開示、生成、または推論すること\n\n 6. Llama素材またはLlama素材の出力または結果を使用した製品またはサービスの出力または結果を含む、第三者の権利を侵害、盗用、またはその他の方法で侵害するいかなる行為またはコンテンツの生成に関与または容易にすること\n\n 7. 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成、または容易にすること、またはウェブサイトまたはコンピュータシステムの適切な動作、完全性、操作、または外観を無効化、過負荷、干渉、または損なういかなる行為を行うこと\n\n 8. 使用制限またはその他の安全対策を意図的に回避または削除する、またはMetaによって無効化された機能を有効にするいかなる行為に関与、または容易にすること\n\n2. 個人の死亡または身体的危害のリスクを伴う活動の計画または開発に関与、促進、扇動、容易に、または支援すること、Llama 3.3に関連して以下を含む：\n\n 1. 軍事、戦争、核産業または用途、スパイ活動、米国国務省が維持する国際武器取引規則（ITAR）または1989年米国生物兵器テロ防止法または1997年化学兵器禁止条約実施法の対象となる物質または活動に関連する使用\n\n 2. 銃器および違法な武器（武器開発を含む）\n\n 3. 違法な薬物および規制/管理された物質\n\n 4. 重要インフラ、輸送技術、または重機械の操作\n\n 5. 自傷行為または他者への危害、自殺、自傷、および摂食障害を含む\n\n 6. 個人に対する暴力、虐待、または身体的危害のいかなる加害を扇動または促進することを意図したコンテンツ\n\n3. 他者を意図的に欺くまたは誤解させる行為、Llama 3.3に関連して以下を含む：\n\n 1. 詐欺または虚偽情報の作成または促進を生成、促進、または助長すること\n\n 2. 中傷的なコンテンツ、中傷的な声明、画像、またはその他のコンテンツの作成を生成、促進、または助長すること\n\n 3. スパムを生成、促進、またはさらに配布すること\n\n 4. 同意、許可、または法的権利なしに他の個人を偽装すること\n\n 5. Llama 3.3またはその出力が人間によって生成されたものであると表示すること\n\n 6. 偽のオンライン関与、偽のレビューおよびその他の偽のオンライン関与の手段を生成または容易にすること\n\n4. あなたのAIシステムの既知の危険性をエンドユーザーに適切に開示しないこと\n5. 違法なコンテンツを生成する、または違法または有害な行為に関与するように設計された第三者ツール、モデル、またはソフトウェアと相互作用し、および/またはそのようなツール、モデル、またはソフトウェアの出力がMetaまたはLlama 3.3に関連していると表示すること\nLlama 3.3に含まれるマルチモーダルモデルに関しては、欧州連合に居住する個人、または主たる事業所を欧州連合に置く企業の場合、Llama 3.3 Community License Agreementの第1条(a)に基づく権利は付与されません。この制限は、そのようなマルチモーダルモデルを組み込んだ製品またはサービスのエンドユーザーには適用されません。\n本ポリシーの違反、ソフトウェアの「バグ」、または本ポリシーの違反につながる可能性のあるその他の問題を、以下のいずれかの方法で報告してください：\n* モデルに関する問題の報告：https://github.com/meta-llama/llama-models/issues\n* モデルによって生成されたリスクのあるコンテンツの報告：developers.facebook.com/llama\_output\_feedback\n* バグおよびセキュリティ上の懸念の報告：facebook.com/whitehat/info\n* 許容可能な使用ポリシーの違反またはLlama 3.3の無許可使用の報告：LlamaUseReport@meta.com" extra_gated_fields: 名: text 姓: text 生年月日: date_picker 国: country 所属: text 職位: type: select options:
  • 学生
  • 大学院生
  • AI研究者
  • AI開発者/エンジニア
  • 記者
  • その他 geo: ip_location ? 以下の「送信」をクリックすることで、ライセンスの条件に同意し、提供する情報がMetaプライバシーポリシーに従って収集、保存、処理、共有されることを承認します : checkbox base_model: huihui-ai/Llama-3.3-70B-Instruct-abliterated license: llama3.3 extra_gated_button_content: 送信 tags:
• facebook
• meta
• llama
• llama-3
• abliterated
• uncensored extra_gated_description: 提供いただく情報は、Metaプライバシーポリシーに従って収集、保存、処理、共有されます。

Llama-3.3-70B-Instruct-abliteratedのLlamacpp imatrix量子化

llama.cppのリリースb4381を使用して量子化を行いました。

オリジナルモデル: https://huggingface.co/huihui-ai/Llama-3.3-70B-Instruct-abliterated

すべての量子化は、こちらのデータセットを使用してimatrixオプションで作成されました。

LM Studioで実行してください。

プロンプト形式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 26 Jul 2024

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

以下のファイルから（ブランチ全体ではなく）ファイルをダウンロードしてください:

埋め込み/出力ウェイト

これらの量子化の一部（Q3_K_XL、Q4_K_Lなど）は、標準的な量子化方法で、埋め込みと出力ウェイトが通常のデフォルトではなくQ8_0に量子化されています。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download bartowski/Llama-3.3-70B-Instruct-abliterated-GGUF --include "Llama-3.3-70B-Instruct-abliterated-Q4_K_M.gguf" --local-dir ./

huggingface-cli download bartowski/Llama-3.3-70B-Instruct-abliterated-GGUF --include "Llama-3.3-70B-Instruct-abliterated-Q8_0/*" --local-dir ./

ARM/AVX情報

以前は、Q4_0_4_4/4_8/8_8をダウンロードし、これらのウェイトはメモリ内でインターリーブされ、ARMおよびAVXマシン上でより多くのデータを一度にロードすることでパフォーマンスを向上させていました。

しかし、現在はウェイトの「オンライン再パッキング」と呼ばれるものがあります。詳細はこのPRにあります。Q4_0を使用し、ハードウェアがウェイトの再パッキングの恩恵を受ける場合、自動的にオンザフライで行われます。

llama.cppビルドb4282以降、Q4_0_X_Xファイルを実行することはできず、代わりにQ4_0を使用する必要があります。

さらに、このPRのおかげで、IQ4_NLを使用してわずかに品質を向上させることができます。これもARM用にウェイトを再パッキングしますが、現時点では4_4のみです。ロード時間は遅くなる可能性がありますが、全体的な速度向上につながります。