Llama 3.2 3B Instruct Q4 K M GGUF

🚀 hugging - quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF

このモデルは、meta-llama/Llama-3.2-3B-Instruct からGGUF形式に変換されたものです。変換にはllama.cppを使用し、ggml.aiの GGUF-my-repo スペースを通じて行われました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

📦 インストール

llama.cppをbrewを通じてインストールします（MacとLinuxで動作します）。

brew install llama.cpp

💻 使用例

基本的な使用法

CLI:

llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

Server:

llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

高度な使用法

また、このチェックポイントは、Llama.cppリポジトリに記載されている 使用手順 を直接通じて使用することもできます。

ステップ1: GitHubからllama.cppをクローンします。

git clone https://github.com/ggerganov/llama.cpp

ステップ2: llama.cppフォルダに移動し、LLAMA_CURL = 1 フラグと他のハードウェア固有のフラグ（例: LinuxのNvidia GPUの場合はLLAMA_CUDA = 1）を使用してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

ステップ3: メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

📚 ドキュメント

モデル情報

📄 ライセンス

LLAMA 3.2 コミュニティライセンス契約

Llama 3.2バージョンリリース日: 2024年9月25日

「契約」とは、本書に定めるLlama素材の使用、複製、配布および改変に関する条件を意味します。

「ドキュメント」とは、Metaがhttps://llama.meta.com/doc/overviewで配布するLlama 3.2に付随する仕様書、マニュアルおよびドキュメントを意味します。

「ライセンシー」または「あなた」とは、あなた、またはあなたの雇用主、または他の個人もしくは団体（あなたがその個人または団体のために本契約に入る場合）を意味し、適用される法律、規則または規制に基づき法的同意を与える年齢に達しており、あなたがその雇用主または他の個人もしくは団体のために本契約に入る場合には、それらを拘束する法的権限を有する者を意味します。

「Llama 3.2」とは、Metaがhttps://www.llama.com/llama-downloadsで配布する、機械学習モデルコード、学習済みモデルの重み、推論を可能にするコード、学習を可能にするコード、微調整を可能にするコードなどの基礎的な大規模言語モデル、ソフトウェアおよびアルゴリズムを意味します。

「Llama素材」とは、総称して、本契約の下で利用可能となるMetaの独自のLlama 3.2およびドキュメント（およびその一部）を意味します。

「Meta」または「私たち」とは、あなたが欧州経済地域（EEA）またはスイスに所在する場合、またはあなたが団体である場合にはその主たる事業場がEEAまたはスイスにある場合、Meta Platforms Ireland Limitedを、それ以外の場合にはMeta Platforms, Inc.を意味します。

以下の「同意する」をクリックするか、またはLlama素材の一部または要素を使用または配布することにより、あなたは本契約に拘束されることに同意するものとします。

1. ライセンス権と再配布 a. 権利の付与 あなたには、Llama素材に含まれるMetaの知的財産権またはMetaが所有する他の権利の下で、非排他的、世界規模、非譲渡可能かつ無料の制限付きライセンスが付与され、Llama素材を使用、複製、配布、コピー、派生作品を作成し、改変することができます。 b. 再配布と使用 i. あなたがLlama素材（またはその派生作品）、またはそれらのいずれかを含む製品もしくはサービス（他のAIモデルを含む）を配布または提供する場合、（A）そのようなLlama素材とともに本契約のコピーを提供し、（B）関連するウェブサイト、ユーザーインターフェイス、ブログ記事、アバウトページまたは製品ドキュメントに「Built with Llama」を目立つように表示する必要があります。あなたがLlama素材またはLlama素材の出力もしくは結果を使用して、配布または提供されるAIモデルを作成、学習、微調整またはその他の方法で改善する場合、そのようなAIモデルの名前の先頭に「Llama」を含める必要があります。 ii. あなたが統合されたエンドユーザー製品の一部として、ライセンシーからLlama素材またはその派生作品を受け取った場合、本契約の第2条はあなたには適用されません。 iii. あなたが配布するLlama素材のすべてのコピーには、その一部として配布される「Notice」テキストファイル内に以下の帰属表示を保持する必要があります。「Llama 3.2はLlama 3.2コミュニティライセンスの下でライセンスされており、Copyright © Meta Platforms, Inc. All Rights Reserved.」 iv. あなたのLlama素材の使用は、適用される法律および規制（貿易コンプライアンス法律および規制を含む）に準拠し、Llama素材の許容使用ポリシー（https://www.llama.com/llama3_2/use - policyで入手可能）に従う必要があり、これは本契約に参照により組み込まれるものとします。

2. 追加の商用条項 Llama 3.2バージョンリリース日に、ライセンシーまたはライセンシーの関連会社が提供する製品またはサービスの月間アクティブユーザー数が前の暦月において7億人を超える場合、あなたはMetaからライセンスを申請する必要があり、Metaはその裁量によりあなたにライセンスを付与することができます。Metaが明示的にそのような権利を付与するまで、あなたは本契約に基づくいずれの権利も行使することはできません。

3. 保証の否認 適用される法律により要求されない限り、Llama素材およびそれから得られるすべての出力および結果は「現状のまま」で提供され、いかなる種類の保証も与えられません。Metaは、明示的および黙示的を問わず、すべての種類の保証を否認し、所有権、非侵害、商品性または特定の目的への適合性に関する保証を含め、いかなる保証も与えません。あなたは、Llama素材を使用または再配布する適切性を独自に判断し、Llama素材の使用およびその出力および結果に関連するすべてのリスクを負うものとします。

4. 責任の制限 いかなる場合も、Metaまたはその関連会社は、本契約に起因する契約、不法行為、過失、製品責任またはその他の理論に基づく責任について、逸失利益または間接的、特別、結果的、偶発的、懲戒的または罰則的損害について責任を負わないものとします。たとえMetaまたはその関連会社がそれらの可能性について通知されていた場合でも同様です。

5. 知的財産 a. 本契約の下で商標ライセンスは付与されません。Llama素材に関連して、Metaまたはライセンシーは、相手方またはその関連会社が所有するまたは関連するいかなる名前または標章も使用することはできません。ただし、Llama素材を説明および再配布する際の合理的かつ通常の使用に必要な場合、または本条5(a)に定める場合を除きます。Metaは、あなたに対して、第1.b.i項の最後の文に従うために必要な範囲でのみ「Llama」（「標章」）の使用ライセンスを付与します。あなたは、Metaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company - brand/でアクセス可能）に従うものとします。あなたが標章を使用することにより生じるすべての信頼性は、Metaの利益に帰属するものとします。 b. MetaによるまたはMetaのためのLlama素材および派生作品の所有権に関して、あなたが作成するLlama素材の派生作品および改変について、あなたとMetaの間で、あなたがそれらの派生作品および改変の所有者であり、かつ所有者であり続けるものとします。 c. あなたがMetaまたは他の団体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を提起し、Llama素材またはLlama 3.2の出力もしくは結果、またはそれらの一部があなたが所有またはライセンスすることができる知的財産権または他の権利の侵害を構成すると主張する場合、本契約に基づいてあなたに付与されたすべてのライセンスは、その訴訟または請求が提起された日から終了するものとします。あなたは、Llama素材の使用または配布に起因するまたは関連するいかなる第三者からの請求からMetaを弁護し、損害を与えないようにするものとします。

6. 契約期間と終了 本契約の期間は、あなたが本契約に同意するか、またはLlama素材にアクセスすることにより開始し、本契約の条件に従って終了するまで有効です。あなたが本契約のいずれかの条件に違反した場合、Metaは本契約を終了することができます。本契約が終了した場合、あなたはLlama素材を削除し、使用を停止するものとします。第3条、第4条および第7条は、本契約の終了後も有効です。

7. 準拠法と管轄権 本契約は、カリフォルニア州の法律に基づいて解釈され、適用されます。国際商品売買契約に関する国際連合条約は本契約に適用されません。本契約に起因するいかなる紛争についても、カリフォルニア州の裁判所が排他的管轄権を有します。

Llama 3.2許容使用ポリシー

Metaは、Llama 3.2を含むツールや機能の安全で公正な使用を促進することにコミットしています。あなたがLlama 3.2にアクセスまたは使用する場合、この許容使用ポリシー（「ポリシー」）に同意するものとします。このポリシーの最新版は、[https://www.llama.com/llama3_2/use - policy](https://www.llama.com/llama3_2/use - policy) で確認できます。

禁止される使用

私たちは、誰もがLlama 3.2を安全かつ責任を持って使用することを望んでいます。あなたは、Llama 3.2を以下の目的で使用しないこと、または他人に使用させないことに同意するものとします。

1. 法律または他人の権利を侵害する行為
   1. 違法または不法な活動またはコンテンツを行い、促進し、生成し、寄与し、奨励し、計画し、扇動しまたはさらに進める行為。例えば、
      1. 暴力またはテロリズム
      2. 児童の搾取または危害。児童搾取コンテンツの勧誘、作成、取得または配布、または児童性虐待素材の報告の不履行を含む。
      3. 人身売買、搾取および性的暴力
      4. 未成年者への情報または素材の違法な配布。猥褻な素材を含む。またはそのような情報または素材に関連して法律で要求される年齢制限を設けない場合。
      5. 性的勧誘
      6. その他の犯罪行為
   2. 個人または個人グループの嫌がらせ、虐待、脅迫またはいじめを行い、促進し、扇動しまたは容易にする行為
   3. 雇用、雇用給付、信用、住宅、その他の経済的利益またはその他の重要な商品およびサービスの提供における差別またはその他の不法または有害な行為を行い、促進し、扇動しまたは容易にする行為
   4. 金融、法律、医療/健康または関連する専門分野を含むがこれらに限定されないいかなる職業の無許可または無免許の実践を行う行為
   5. 個人に関する個人情報または機密情報を収集、処理、開示、生成または推論する行為。個人の身元、健康または人口統計情報を含む。ただし、適用される法律に従ってその権利を取得している場合を除きます。
   6. いかなる第三者の権利を侵害、盗用またはその他の方法で違反する行為またはコンテンツを行い、容易にする行為。Llama素材を使用する製品またはサービスの出力または結果を含む。
   7. 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成または容易にする行為。またはウェブサイトまたはコンピュータシステムの正常な動作、整合性、操作または外観を無効化、過負荷、妨害または損なうことができる他のいかなる行為も行わないこと。
   8. 意図的に使用制限またはその他の安全対策を回避または削除する行為、またはMetaにより無効化された機能を有効にする行為を行い、または容易にする行為
2. 個人に対する死亡または身体的危害のリスクをもたらす活動の計画または開発を行い、促進し、扇動し、容易にしまたは支援する行為。Llama 3.2を以下の関連で使用する行為を含みます。
   1. 軍事、戦争、原子力産業または応用、諜報活動。米国国務省が維持する国際武器輸出規制（ITAR）または1989年の米国生物兵器テロ対策法または1997年の化学兵器条約実施法の対象となる素材または活動に使用する行為。
   2. 銃器および違法武器（武器開発を含む）
   3. 違法薬物および規制/管理物質
   4. 重要インフラストラクチャ、輸送技術または重機械の運用
   5. 自傷行為または他人への危害。自殺、切り傷および摂食障害を含む。
   6. 個人に対する暴力、虐待または身体的危害を扇動または促進する意図のあるコンテンツ
3. 他人を意図的に欺瞞または誤解させる行為。Llama 3.2を以下の関連で使用する行為を含みます。
   1. 詐欺を生成、促進またはさらに進める行為。またはディスインフォメーションの作成または促進を行う行為
   2. 中傷的コンテンツを生成、促進またはさらに進める行為。中傷的な声明、画像またはその他のコンテンツの作成を含む。
   3. スパムを生成、促進またはさらに配布する行為
   4. 同意、許可または法的権利なしに他人をなりすます行為
   5. Llama 3.2の使用または出力が人間によって生成されたものであると表現する行為
   6. 偽のオンラインエンゲージメントを生成または容易にする行為。偽のレビューおよび他の偽のオンラインエンゲージメント手段を含む。
4. AIシステムの既知の危険性をエンドユーザーに適切に開示しない行為
5. 不法なコンテンツを生成するように設計された第三者のツール、モデルまたはソフトウェアとやり取りし、または不法または有害な行為を行うツール、モデルまたはソフトウェアとやり取りする行為。またはそのようなツール、モデルまたはソフトウェアの出力がMetaまたはLlama 3.2に関連するものと表現する行為

Llama 3.2に含まれるマルチモーダルモデルに関して、あなたが欧州連合に居住する個人または主たる事業場が欧州連合にある会社である場合、Llama 3.2コミュニティライセンス契約の第1(a)条に基づいて付与される権利はあなたに付与されません。この制限は、そのようなマルチモーダルモデルを組み込んだ製品またはサービスのエンドユーザーには適用されません。

以下のいずれかの方法を通じて、このポリシーの違反、ソフトウェアの「バグ」またはこのポリシーの違反につながる可能性のある他の問題を報告してください。

• モデルの問題の報告: https://github.com/meta-llama/llama-models/issues
• モデルによって生成された危険なコンテンツの報告: developers.facebook.com/llama_output_feedback
• バグとセキュリティの懸念の報告: facebook.com/whitehat/info
• 許容使用ポリシーの違反またはLlama 3.2の無許可使用の報告: LlamaUseReport@meta.com

追加情報