Llama 3.2 1B Instruct Q4 K M GGUF

🚀 hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF

このモデルは、llama.cppを使用して、ggml.aiのGGUF-my-repoスペースを通じて、meta-llama/Llama-3.2-1B-InstructからGGUF形式に変換されたものです。このモデルの詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

モデル情報

ライセンス契約

LLAMA 3.2 コミュニティライセンス契約

Llama 3.2のリリース日：2024年9月25日

「契約」とは、本契約で規定されるLlama材料の使用、複製、配布、および修正に関する条項および条件を指します。

「ドキュメント」とは、Metaがhttps://llama.meta.com/doc/overview で配布するLlama 3.2に付属する仕様、マニュアル、およびドキュメントを指します。

「被許諾者」または「あなた」とは、あなた、またはあなたの雇用主、またはあなたがその者または団体を代表して本契約に署名する場合の他の任意の者または団体を指し、その者または団体は、適用される法律、規則、または規制によって法律上の同意を与えることができる年齢に達しており、あなたが彼らを代表して本契約に署名する場合、あなたの雇用主またはその他の者または団体を拘束する合法的な権限を有しています。

「Llama 3.2」とは、Metaがhttps://www.llama.com/llama-downloads で配布する基礎大規模言語モデル、ソフトウェア、およびアルゴリズムを指し、機械学習モデルコード、学習済みモデルの重み、推論有効化コード、学習有効化コード、微調整有効化コード、および上記の他の要素を含みます。

「Llama材料」とは、本契約に基づいて提供されるMetaが所有するLlama 3.2およびドキュメント（およびその任意の部分）の総称を指します。

「Meta」または「私たち」とは、あなたが欧州経済圏またはスイスに所在する場合、またはあなたが団体であり、あなたの主たる営業地が欧州経済圏またはスイスにある場合のMeta Platforms Ireland Limited、およびあなたが欧州経済圏またはスイス以外に所在する場合のMeta Platforms, Inc.を指します。

以下の「同意する」をクリックするか、Llama材料の任意の部分または要素を使用または配布することにより、あなたは本契約に拘束されることに同意します。

1. ライセンス権利と再配布 a. 権利の付与。あなたには、MetaがLlama材料に体現する知的財産権またはその他の権利の下で、Llama材料を使用、複製、配布、コピー、派生作品を作成し、修正するための非排他的、世界規模、譲渡不可、無料の限定的ライセンスが付与されます。 b. 再配布と使用 i. あなたがLlama材料（またはその任意の派生作品）、またはその中の任意の内容を含む製品またはサービス（別のAIモデルを含む）を配布または提供する場合、あなたは（A）そのようなLlama材料に本契約のコピーを添付する必要があります。また、（B）関連するウェブサイト、ユーザーインターフェイス、ブログ記事、アバウトページ、または製品ドキュメントに「Built with Llama」を目立つように表示する必要があります。あなたがLlama材料またはLlama材料の任意の出力または結果を使用してAIモデルを作成、学習、微調整、またはその他の方法で改善し、配布または提供する場合、あなたはまた、そのようなAIモデルの名前の先頭に「Llama」を含める必要があります。 ii. あなたが統合エンドユーザー製品の一部として被許諾者からLlama材料またはその任意の派生作品を受け取った場合、本契約の第2条はあなたには適用されません。 iii. あなたは、あなたが配布するすべてのLlama材料のコピーにおいて、そのようなコピーの一部として配布される「通知」テキストファイルに以下の帰属声明を保持する必要があります。「Llama 3.2はLlama 3.2コミュニティライセンス契約に基づいてライセンスされており、著作権 © Meta Platforms, Inc. すべての権利を留保します。」 iv. あなたのLlama材料の使用は、適用される法律および規制（貿易コンプライアンスの法律および規制を含む）に準拠し、Llama材料の許容使用ポリシー（https://www.llama.com/llama3_2/use-policy で入手可能）に従う必要があり、このポリシーはここに引用により本契約に組み込まれます。

2. 追加の商用条項。Llama 3.2のリリース日において、被許諾者またはその関連会社が提供する製品またはサービスの月間アクティブユーザーが前の暦月に7億を超える場合、あなたはMetaに許可を求める必要があり、Metaはその裁量により許可を与えるかどうかを決定することができ、Metaが明示的にあなたにそのような権利を与えるまで、あなたは本契約に基づくいかなる権利も行使することができません。

3. 保証の否認。適用される法律が要求する場合を除き、Llama材料およびその任意の出力および結果は「現状のまま」提供され、いかなる形式の保証も提供されません。Metaは、所有権、非侵害、売買適格性、または特定の用途への適合性を含むすべての形式の保証を明示的に否認します。あなたは、Llama材料の使用または再配布の適切性を独自に判断し、Llama材料およびその任意の出力および結果の使用に関連するすべてのリスクを負う責任があります。

4. 責任の制限。いかなる場合も、Metaまたはその関連会社は、本契約に起因する利益の損失、または間接的、特殊的、結果的、偶発的、懲戒的、または罰則的損害に対して責任を負いません。責任の理論が契約、不法行為、過失、製品責任、またはその他のものであるかに関係なく、Metaまたはその関連会社がそのような損害の可能性を知っていた場合でも同様です。

5. 知的財産 a. 本契約では商標ライセンスは付与されておらず、Llama材料に関連して、Llama材料の説明および再配布における合理的かつ慣習的な使用に必要な場合、または本节5(a)で説明する場合を除き、Metaおよび被許諾者は、相手方またはその関連会社が所有または関連する任意の名称またはマークを使用してはなりません。Metaは、第1.b.i条の最後の文の要求を遵守するためにのみ、「Llama」（「マーク」）を使用する許可をあなたに与えます。あなたは、Metaのブランドガイドライン（現在はhttps://about.meta.com/brand/resources/meta/company-brand/ で入手可能）に従うことになります。あなたのマークの使用によって生じるすべての信頼性はMetaに帰属します。 b. MetaがLlama材料およびMetaのために作成された派生作品の所有者であることを考慮すると、あなたが作成したLlama材料の任意の派生作品および修正に関して、あなたとMetaの間で、あなたはそのような派生作品および修正の所有者であり、そのままであることになります。 c. あなたがMetaまたは任意の団体に対して訴訟またはその他の手続き（訴訟における交差請求または反訴を含む）を起こし、Llama材料またはLlama 3.2の出力または結果、またはその任意の部分が、あなたが所有または許諾できる知的財産権またはその他の権利の侵害を構成すると主張する場合、本契約によってあなたに付与された任意のライセンスは、そのような訴訟または請求が提起された日から終了します。あなたは、Metaを、あなたのLlama材料の使用または配布に起因する、またはそれに関連する任意の請求から補償し、免責する責任があります。

6. 期間と終了。本契約の期間は、あなたが本契約に同意するか、Llama材料にアクセスする日から始まり、本契約の条項および条件に基づいて終了するまで有効です。あなたが本契約の任意の条項または条件に違反した場合、Metaは本契約を終了することができます。本契約が終了した後、あなたはLlama材料を削除し、使用を停止する必要があります。第3、4、および7条は、本契約の終了後も有効です。

7. 適用法律と管轄権。本契約は、カリフォルニア州の法律に準拠し、それに従って解釈されます。法律選択の原則は考慮されません。また、国際連合国際商品売買契約条約は本契約には適用されません。カリフォルニア州の裁判所は、本契約に起因する任意の紛争に対して排他的管轄権を有します。

Llama 3.2許容使用ポリシー

Metaは、そのツールおよび機能（Llama 3.2を含む）の安全かつ公平な使用を促進することに取り組んでいます。あなたがLlama 3.2にアクセスまたは使用する場合、あなたは本許容使用ポリシー（「ポリシー」）に同意することになります。本ポリシーの最新版は、https://www.llama.com/llama3_2/use-policyで見つけることができます。

禁止使用

私たちは、誰もが安全かつ責任を持ってLlama 3.2を使用することを期待しています。あなたは、以下のことを行わないこと、または他人に行わせないことに同意します。

1. 法律または他人の権利を侵害すること、以下を含む：
   1. 違法または犯罪行為または内容を行い、促進し、生成し、促成し、助長し、計画し、扇動し、または推進すること、例えば：
      1. 暴力またはテロリズム
      2. 児童の搾取または傷害、児童搾取内容の勧誘、作成、取得、または配布、または児童性虐待材料の報告漏れ
      3. 人身売買、搾取、および性暴力
      4. 未成年者への情報または材料の違法な配布、猥褻な材料を含む、またはそのような情報または材料に法律で要求される年齢制限を適用しないこと
      5. 性的勧誘
      6. その他の犯罪行為
   2. 個人またはグループに対する嫌がらせ、虐待、脅迫、またはいじめを行い、促進し、扇動し、または容易にすること
   3. 雇用、雇用福利、信用、住宅、その他の経済的福利、またはその他の基本的な商品およびサービスの提供における差別またはその他の違法または有害な行為を行い、促進し、扇動し、または容易にすること
   4. 金融、法律、医療/健康、または関連する専門分野を含む、任意の職業の無許可または無免許の実践を行うこと
   5. 個人の個人情報または機密情報、個人識別情報、健康情報、または人口統計情報を収集、処理、開示、生成、または推測すること、ただし、適用される法律に基づいてそのような権利を取得している場合を除く
   6. 任意の第三者の権利を侵害、盗用、またはその他の方法で侵害する行為を行い、または任意の内容を生成すること、Llama材料を使用する任意の製品またはサービスの出力または結果を含む
   7. 悪意のあるコード、マルウェア、コンピュータウイルスを作成、生成、または容易にすること、またはウェブサイトまたはコンピュータシステムの正常な動作、完全性、操作、または外観を無効化、過負荷にし、干渉し、または損害する可能性のあるその他のことを行うこと
   8. 使用制限またはその他の安全対策を意図的に回避または削除する行為を行うこと、またはMetaが無効にした機能を有効にすること
2. 個人に死亡または身体的傷害のリスクをもたらす活動を行い、促進し、扇動し、容易にし、または計画または実施を支援すること、以下に関連するLlama 3.2の使用を含む：
   1. 軍事、戦争、原子力産業または応用、諜報活動、米国国務省が維持する「国際武器貿易条規」（ITAR）、1989年の「米国生物兵器対テロ法」、または1997年の「化学兵器条約実施法」の対象となる材料または活動
   2. 銃器および違法武器（武器開発を含む）
   3. 違法薬物および規制/管理物質
   4. 重要インフラストラクチャ、輸送技術、または重型機械の操作
   5. 自傷または他人への傷害、自殺、切り傷、および摂食障害を含む
   6. 暴力、虐待、または個人への身体的傷害を扇動または促進することを目的とした任意の内容
3. 他人を故意に欺瞞または誤解させること、以下に関連するLlama 3.2の使用を含む：
   1. 詐欺を生成、促進、または推進すること、または虚偽情報を作成または宣伝すること
   2. 中傷的な内容を生成、促進、または推進すること、中傷的な声明、画像、またはその他の内容を作成することを含む
   3. スパムを生成、促進、またはさらに配布すること
   4. 同意、許可、または合法的な権利なしに他人になりすますこと
   5. Llama 3.2の使用または出力が人間によって生成されたものであると表示すること
   6. 虚偽のオンラインインタラクションを生成または促進すること、虚偽のコメントおよびその他の虚偽のオンラインインタラクション方法を含む
4. 最終ユーザーに対して、あなたのAIシステムの既知の危険を適切に開示しないこと
5. 違法内容を生成すること、または違法または有害な行為を行うことを目的とした第三者のツール、モデル、またはソフトウェアとやり取りすること、および/またはそのようなツール、モデル、またはソフトウェアの出力がMetaまたはLlama 3.2に関連すると表示すること

Llama 3.2に含まれる任意のマルチモーダルモデルについて、あなたがEUに居住する個人または主たる営業地がEUにある会社である場合、本契約の第1(a)条で付与される権利はあなたには付与されません。この制限は、そのようなマルチモーダルモデルを含む製品またはサービスの最終ユーザーには適用されません。

以下のいずれかの方法で、本ポリシーの違反、ソフトウェアの「バグ」、または本ポリシーの違反につながる可能性のあるその他の問題を報告してください。

• モデルの問題を報告する：https://github.com/meta-llama/llama-models/issues
• モデルが生成するリスク内容を報告する：developers.facebook.com/llama_output_feedback
• バグおよびセキュリティ問題を報告する：facebook.com/whitehat/info
• 許容使用ポリシーの違反またはLlama 3.2の無許可使用を報告する：LlamaUseReport@meta.com

追加情報

あなたが提供する情報は、Metaのプライバシーポリシーに基づいて収集、保存、処理、および共有されます。

送信ボタンの内容

送信

📦 インストール

brewを使用してllama.cppをインストールする（MacおよびLinux用）

brew install llama.cpp

💻 使用例

基本的な使用法

CLIを使用して呼び出す

llama-cli --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-1b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

サーバーを使用して呼び出す

llama-server --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-1b-instruct-q4_k_m.gguf -c 2048

高度な使用法

あなたはまた、Llama.cppリポジトリに記載されている使用手順を直接使用して、このチェックポイントを使用することができます。

ステップ1：GitHubからllama.cppをクローンする

git clone https://github.com/ggerganov/llama.cpp

ステップ2：llama.cppフォルダに移動し、LLAMA_CURL=1フラグとその他のハードウェア固有のフラグ（例えば、LinuxでNvidia GPUを使用する場合はLLAMA_CUDA=1）を使用してビルドする

cd llama.cpp && LLAMA_CURL=1 make

ステップ3：メインバイナリを通じて推論を実行する

./llama-cli --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-1b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-1b-instruct-q4_k_m.gguf -c 2048