Llama 3.2 3B Instruct Q4 K M GGUF

🚀 hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF

本模型是通过 llama.cpp 并借助 ggml.ai 的 GGUF-my-repo 空间，从 meta-llama/Llama-3.2-3B-Instruct 转换为 GGUF 格式的。如需了解该模型的更多详细信息，请参考 原始模型卡片。

🚀 快速开始

📦 安装指南

通过 brew 安装 llama.cpp（适用于 Mac 和 Linux）

brew install llama.cpp

💻 使用示例

基础用法

使用 CLI 进行推理：

llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

使用 Server 进行推理：

llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

高级用法

你也可以按照 Llama.cpp 仓库中列出的 使用步骤 直接使用此检查点。

步骤 1：从 GitHub 克隆 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤 2：进入 llama.cpp 文件夹，并使用 LLAMA_CURL=1 标志以及其他特定于硬件的标志（例如，在 Linux 上使用 Nvidia GPU 时使用 LLAMA_CUDA=1）进行编译。

cd llama.cpp && LLAMA_CURL=1 make

步骤 3：通过主二进制文件运行推理

./llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

📄 许可证

LLAMA 3.2 社区许可协议

Llama 3.2 版本发布日期：2024 年 9 月 25 日

“协议” 指的是本协议中规定的 Llama 材料的使用、复制、分发和修改的条款和条件。

“文档” 指的是 Meta 在 https://llama.meta.com/doc/overview 上分发的与 Llama 3.2 相关的规范、手册和文档。

“被许可方” 或 “你” 指的是你，或者你的雇主，或者任何其他人或实体（如果你代表该人或实体签订本协议），且该人或实体已达到适用法律、规则或法规要求的提供法律同意的年龄，并且如果你代表他们签订本协议，具有约束你的雇主或该其他人或实体的合法权力。

“Llama 3.2” 指的是基础大语言模型以及软件和算法，包括机器学习模型代码、训练好的模型权重、推理启用代码、训练启用代码、微调启用代码以及 Meta 在 https://www.llama.com/llama-downloads 上分发的上述内容的其他元素。

“Llama 材料” 指的是，总体而言，Meta 根据本协议提供的专有 Llama 3.2 和文档（及其任何部分）。

“Meta” 或 “我们” 指的是 Meta Platforms Ireland Limited（如果你位于欧洲经济区或瑞士，或者如果你是一个实体，你的主要营业地位于欧洲经济区或瑞士）以及 Meta Platforms, Inc.（如果你位于欧洲经济区或瑞士以外）。

通过点击下面的 “我接受”，或者使用或分发 Llama 材料的任何部分或元素，你同意受本协议的约束。

1. 许可权利和再分发 a. 权利授予。你被授予在 Meta 体现在 Llama 材料中的知识产权或其他权利下的非排他性、全球性、不可转让且免版税的有限许可，以使用、复制、分发、拷贝、创作衍生作品并对 Llama 材料进行修改。 b. 再分发和使用 i. 如果你分发或提供 Llama 材料（或其任何衍生作品），或者包含其中任何内容的产品或服务（包括另一个 AI 模型），你应（A）随任何此类 Llama 材料提供本协议的副本；并且（B）在相关网站、用户界面、博客文章、关于页面或产品文档上显著显示 “Built with Llama”。如果你使用 Llama 材料或 Llama 材料的任何输出或结果来创建、训练、微调或以其他方式改进一个 AI 模型，并且该模型被分发或提供，你还应在任何此类 AI 模型名称的开头包含 “Llama”。 ii. 如果你作为集成最终用户产品的一部分从被许可方处收到 Llama 材料或其任何衍生作品，则本协议第 2 条不适用于你。 iii. 你必须在你分发的所有 Llama 材料副本中保留以下归属声明，该声明应包含在作为此类副本一部分分发的 “Notice” 文本文件中：“Llama 3.2 已根据 Llama 3.2 社区许可获得许可，版权所有 © Meta Platforms, Inc. 保留所有权利。” iv. 你对 Llama 材料的使用必须符合适用的法律和法规（包括贸易合规法律和法规），并遵守 Llama 材料的可接受使用政策（可在 https://www.llama.com/llama3_2/use-policy 上获取），该政策特此通过引用并入本协议。

2. 额外商业条款。如果在 Llama 3.2 版本发布日期，被许可方或被许可方的关联公司提供的产品或服务的月活跃用户在前一个日历月超过 7 亿，你必须向 Meta 请求许可，Meta 可自行决定是否授予你许可，并且在 Meta 明确授予你此类权利之前，你无权行使本协议下的任何权利。

3. 保修免责声明。除非适用法律要求，否则 Llama 材料及其任何输出和结果按 “现状” 提供，不提供任何形式的保证，并且 Meta 免除所有形式的保证，包括但不限于所有权、不侵权、适销性或特定用途适用性的任何保证。你独自负责确定使用或再分发 Llama 材料的适当性，并承担与你使用 Llama 材料及其任何输出和结果相关的任何风险。

4. 责任限制。在任何情况下，Meta 或其关联公司均不对因本协议引起的任何利润损失或任何间接、特殊、后果性、偶发性、惩戒性或惩罚性损害承担责任，无论责任理论如何，包括合同、侵权、疏忽、产品责任或其他，即使 Meta 或其关联公司已被告知任何上述损害的可能性。

5. 知识产权 a. 本协议未授予任何商标许可，并且与 Llama 材料相关，Meta 和被许可方均不得使用对方或其任何关联公司拥有或关联的任何名称或标记，除非在描述和再分发 Llama 材料时进行合理和惯常使用所需，或如本节 5(a) 所述。Meta 特此授予你仅为遵守第 1.b.i 条最后一句的要求而使用 “Llama”（“标记”）的许可。你将遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 上获取）。因你使用标记而产生的所有商誉将归属于 Meta 的利益。 b. 鉴于 Meta 对 Llama 材料及其为 Meta 制作或由 Meta 制作的衍生作品的所有权，就你制作的 Llama 材料的任何衍生作品和修改而言，在你和 Meta 之间，你是且将是此类衍生作品和修改的所有者。 c. 如果你对 Meta 或任何实体提起诉讼或其他程序（包括在诉讼中的交叉索赔或反诉），声称 Llama 材料或 Llama 3.2 的输出或结果，或上述任何内容的任何部分，构成侵犯你拥有或可许可的知识产权或其他权利，则本协议授予你的任何许可应自此类诉讼或索赔提起之日起终止。你将赔偿并使 Meta 免受任何第三方因你使用或分发 Llama 材料而产生或与之相关的任何索赔。

6. 期限和终止。本协议的期限将自你接受本协议或访问 Llama 材料时开始，并将持续有效，直至根据本协议的条款和条件终止。如果你违反本协议的任何条款或条件，Meta 可终止本协议。本协议终止后，你应删除并停止使用 Llama 材料。第 3、4 和 7 条在本协议终止后仍然有效。

7. 适用法律和管辖权。本协议将受加利福尼亚州法律管辖并依其解释，不考虑法律选择原则，并且《联合国国际货物销售合同公约》不适用于本协议。加利福尼亚州的法院对因本协议引起的任何争议具有专属管辖权。

Llama 3.2 可接受使用政策

Meta 致力于促进其工具和功能（包括 Llama 3.2）的安全和公平使用。如果你访问或使用 Llama 3.2，你同意本可接受使用政策（“政策”）。本政策的最新版本可在 https://www.llama.com/llama3_2/use-policy 上找到。

禁止使用

我们希望每个人都能安全、负责任地使用 Llama 3.2。你同意你不会使用或允许他人使用 Llama 3.2 来：

1. 违反法律或他人权利，包括：
   1. 从事、促进、生成、促成、鼓励、策划、煽动或进一步推动非法或违法活动或内容，例如：
      1. 暴力或恐怖主义
      2. 对儿童的剥削或伤害，包括招揽、创建、获取或传播儿童剥削内容或未能报告儿童性虐待材料
      3. 人口贩运、剥削和性暴力
      4. 向未成年人非法分发信息或材料，包括淫秽材料，或未能对此类信息或材料采用法律要求的年龄限制
      5. 性招揽
      6. 任何其他犯罪活动
   2. 从事、促进、煽动或便利对个人或个人群体的骚扰、虐待、威胁或欺凌
   3. 从事、促进、煽动或便利在就业、就业福利、信贷、住房、其他经济福利或其他基本商品和服务的提供方面的歧视或其他非法或有害行为
   4. 从事未经授权或无执照的任何职业实践，包括但不限于金融、法律、医疗/健康或相关专业实践
   5. 收集、处理、披露、生成或推断个人的私人或敏感信息，包括个人身份、健康或人口统计信息，除非你已根据适用法律获得这样做的权利
   6. 从事或便利任何侵犯、盗用或以其他方式侵犯任何第三方权利的行为或生成任何内容，包括使用 Llama 材料的任何产品或服务的输出或结果
   7. 创建、生成或便利创建恶意代码、恶意软件、计算机病毒，或做任何可能禁用、使网站或计算机系统负担过重、干扰或损害其正常工作、完整性、操作或外观的事情
   8. 从事任何行动或便利任何行动，故意规避或移除使用限制或其他安全措施，或启用 Meta 禁用的功能
2. 从事、促进、煽动、便利或协助策划或开展对个人造成死亡或身体伤害风险的活动，包括与以下方面相关的 Llama 3.2 的使用：
   1. 军事、战争、核工业或应用、间谍活动、用于受美国国务院维护的《国际武器贸易条例》（ITAR）或 1989 年《美国生物武器反恐法》或 1997 年《化学武器公约实施法》约束的材料或活动
   2. 枪支和非法武器（包括武器开发）
   3. 非法毒品和受管制/受控物质
   4. 关键基础设施、运输技术或重型机械的操作
   5. 自我伤害或伤害他人，包括自杀、切割和饮食失调
   6. 任何旨在煽动或促进暴力、虐待或对个人造成身体伤害的内容
3. 故意欺骗或误导他人，包括与以下方面相关的 Llama 3.2 的使用：
   1. 生成、促进或进一步推动欺诈或创建或促进虚假信息
   2. 生成、促进或进一步推动诽谤性内容，包括创建诽谤性声明、图像或其他内容
   3. 生成、促进或进一步分发垃圾邮件
   4. 在未经同意、授权或合法权利的情况下冒充他人
   5. 表示 Llama 3.2 的使用或输出是人类生成的
   6. 生成或便利虚假的在线互动，包括虚假评论和其他虚假在线互动方式
4. 未能向最终用户适当披露你的 AI 系统的任何已知危险
5. 与旨在生成非法内容或从事非法或有害行为的第三方工具、模型或软件进行交互，和/或表示此类工具、模型或软件的输出与 Meta 或 Llama 3.2 相关

对于 Llama 3.2 中包含的任何多模态模型，如果你是居住在欧盟的个人或主要营业地在欧盟的公司，则 Llama 3.2 社区许可协议第 1(a) 条下授予的权利不会授予你。此限制不适用于包含任何此类多模态模型的产品或服务的最终用户。

请通过以下方式之一报告本政策的任何违反行为、软件 “漏洞” 或其他可能导致违反本政策的问题：

• 报告模型问题：https://github.com/meta-llama/llama-models/issues
• 报告模型生成的风险内容：developers.facebook.com/llama_output_feedback
• 报告漏洞和安全问题：facebook.com/whitehat/info
• 报告可接受使用政策的违反行为或 Llama 3.2 的未经授权使用：LlamaUseReport@meta.com

额外信息表格