Llama 3.2 3B Instruct Q4 K M GGUF

🚀 hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF

本模型是通過 llama.cpp 並藉助 ggml.ai 的 GGUF-my-repo 空間，從 meta-llama/Llama-3.2-3B-Instruct 轉換為 GGUF 格式的。如需瞭解該模型的更多詳細信息，請參考 原始模型卡片。

🚀 快速開始

📦 安裝指南

通過 brew 安裝 llama.cpp（適用於 Mac 和 Linux）

brew install llama.cpp

💻 使用示例

基礎用法

使用 CLI 進行推理：

llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

使用 Server 進行推理：

llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

高級用法

你也可以按照 Llama.cpp 倉庫中列出的 使用步驟 直接使用此檢查點。

步驟 1：從 GitHub 克隆 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步驟 2：進入 llama.cpp 文件夾，並使用 LLAMA_CURL=1 標誌以及其他特定於硬件的標誌（例如，在 Linux 上使用 Nvidia GPU 時使用 LLAMA_CUDA=1）進行編譯。

cd llama.cpp && LLAMA_CURL=1 make

步驟 3：通過主二進制文件運行推理

./llama-cli --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF --hf-file llama-3.2-3b-instruct-q4_k_m.gguf -c 2048

📄 許可證

LLAMA 3.2 社區許可協議

Llama 3.2 版本發佈日期：2024 年 9 月 25 日

“協議” 指的是本協議中規定的 Llama 材料的使用、複製、分發和修改的條款和條件。

“文檔” 指的是 Meta 在 https://llama.meta.com/doc/overview 上分發的與 Llama 3.2 相關的規範、手冊和文檔。

“被許可方” 或 “你” 指的是你，或者你的僱主，或者任何其他人或實體（如果你代表該人或實體簽訂本協議），且該人或實體已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果你代表他們簽訂本協議，具有約束你的僱主或該其他人或實體的合法權力。

“Llama 3.2” 指的是基礎大語言模型以及軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及 Meta 在 https://www.llama.com/llama-downloads 上分發的上述內容的其他元素。

“Llama 材料” 指的是，總體而言，Meta 根據本協議提供的專有 Llama 3.2 和文檔（及其任何部分）。

“Meta” 或 “我們” 指的是 Meta Platforms Ireland Limited（如果你位於歐洲經濟區或瑞士，或者如果你是一個實體，你的主要營業地位於歐洲經濟區或瑞士）以及 Meta Platforms, Inc.（如果你位於歐洲經濟區或瑞士以外）。

通過點擊下面的 “我接受”，或者使用或分發 Llama 材料的任何部分或元素，你同意受本協議的約束。

1. 許可權利和再分發 a. 權利授予。你被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。 b. 再分發和使用 i. 如果你分發或提供 Llama 材料（或其任何衍生作品），或者包含其中任何內容的產品或服務（包括另一個 AI 模型），你應（A）隨任何此類 Llama 材料提供本協議的副本；並且（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示 “Built with Llama”。如果你使用 Llama 材料或 Llama 材料的任何輸出或結果來創建、訓練、微調或以其他方式改進一個 AI 模型，並且該模型被分發或提供，你還應在任何此類 AI 模型名稱的開頭包含 “Llama”。 ii. 如果你作為集成最終用戶產品的一部分從被許可方處收到 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於你。 iii. 你必須在你分發的所有 Llama 材料副本中保留以下歸屬聲明，該聲明應包含在作為此類副本一部分分發的 “Notice” 文本文件中：“Llama 3.2 已根據 Llama 3.2 社區許可獲得許可，版權所有 © Meta Platforms, Inc. 保留所有權利。” iv. 你對 Llama 材料的使用必須符合適用的法律和法規（包括貿易合規法律和法規），並遵守 Llama 材料的可接受使用政策（可在 https://www.llama.com/llama3_2/use-policy 上獲取），該政策特此通過引用併入本協議。

2. 額外商業條款。如果在 Llama 3.2 版本發佈日期，被許可方或被許可方的關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億，你必須向 Meta 請求許可，Meta 可自行決定是否授予你許可，並且在 Meta 明確授予你此類權利之前，你無權行使本協議下的任何權利。

3. 保修免責聲明。除非適用法律要求，否則 Llama 材料及其任何輸出和結果按 “現狀” 提供，不提供任何形式的保證，並且 Meta 免除所有形式的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的任何保證。你獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與你使用 Llama 材料及其任何輸出和結果相關的任何風險。

4. 責任限制。在任何情況下，Meta 或其關聯公司均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，無論責任理論如何，包括合同、侵權、疏忽、產品責任或其他，即使 Meta 或其關聯公司已被告知任何上述損害的可能性。

5. 知識產權 a. 本協議未授予任何商標許可，並且與 Llama 材料相關，Meta 和被許可方均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標記，除非在描述和再分發 Llama 材料時進行合理和慣常使用所需，或如本節 5(a) 所述。Meta 特此授予你僅為遵守第 1.b.i 條最後一句的要求而使用 “Llama”（“標記”）的許可。你將遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 上獲取）。因你使用標記而產生的所有商譽將歸屬於 Meta 的利益。 b. 鑑於 Meta 對 Llama 材料及其為 Meta 製作或由 Meta 製作的衍生作品的所有權，就你製作的 Llama 材料的任何衍生作品和修改而言，在你和 Meta 之間，你是且將是此類衍生作品和修改的所有者。 c. 如果你對 Meta 或任何實體提起訴訟或其他程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Llama 3.2 的輸出或結果，或上述任何內容的任何部分，構成侵犯你擁有或可許可的知識產權或其他權利，則本協議授予你的任何許可應自此類訴訟或索賠提起之日起終止。你將賠償並使 Meta 免受任何第三方因你使用或分發 Llama 材料而產生或與之相關的任何索賠。

6. 期限和終止。本協議的期限將自你接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果你違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，你應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。

7. 適用法律和管轄權。本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 3.2 可接受使用政策

Meta 致力於促進其工具和功能（包括 Llama 3.2）的安全和公平使用。如果你訪問或使用 Llama 3.2，你同意本可接受使用政策（“政策”）。本政策的最新版本可在 https://www.llama.com/llama3_2/use-policy 上找到。

禁止使用

我們希望每個人都能安全、負責任地使用 Llama 3.2。你同意你不會使用或允許他人使用 Llama 3.2 來：

1. 違反法律或他人權利，包括：
   1. 從事、促進、生成、促成、鼓勵、策劃、煽動或進一步推動非法或違法活動或內容，例如：
      1. 暴力或恐怖主義
      2. 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容或未能報告兒童性虐待材料
      3. 人口販運、剝削和性暴力
      4. 向未成年人非法分發信息或材料，包括淫穢材料，或未能對此類信息或材料採用法律要求的年齡限制
      5. 性招攬
      6. 任何其他犯罪活動
   2. 從事、促進、煽動或便利對個人或個人群體的騷擾、虐待、威脅或欺凌
   3. 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
   4. 從事未經授權或無執照的任何職業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   5. 收集、處理、披露、生成或推斷個人的私人或敏感信息，包括個人身份、健康或人口統計信息，除非你已根據適用法律獲得這樣做的權利
   6. 從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
   7. 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒，或做任何可能禁用、使網站或計算機系統負擔過重、干擾或損害其正常工作、完整性、操作或外觀的事情
   8. 從事任何行動或便利任何行動，故意規避或移除使用限制或其他安全措施，或啟用 Meta 禁用的功能
2. 從事、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的 Llama 3.2 的使用：
   1. 軍事、戰爭、核工業或應用、間諜活動、用於受美國國務院維護的《國際武器貿易條例》（ITAR）或 1989 年《美國生物武器反恐法》或 1997 年《化學武器公約實施法》約束的材料或活動
   2. 槍支和非法武器（包括武器開發）
   3. 非法毒品和受管制/受控物質
   4. 關鍵基礎設施、運輸技術或重型機械的操作
   5. 自我傷害或傷害他人，包括自殺、切割和飲食失調
   6. 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下方面相關的 Llama 3.2 的使用：
   1. 生成、促進或進一步推動欺詐或創建或促進虛假信息
   2. 生成、促進或進一步推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   3. 生成、促進或進一步分發垃圾郵件
   4. 在未經同意、授權或合法權利的情況下冒充他人
   5. 表示 Llama 3.2 的使用或輸出是人類生成的
   6. 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露你的 AI 系統的任何已知危險
5. 與旨在生成非法內容或從事非法或有害行為的第三方工具、模型或軟件進行交互，和/或表示此類工具、模型或軟件的輸出與 Meta 或 Llama 3.2 相關

對於 Llama 3.2 中包含的任何多模態模型，如果你是居住在歐盟的個人或主要營業地在歐盟的公司，則 Llama 3.2 社區許可協議第 1(a) 條下授予的權利不會授予你。此限制不適用於包含任何此類多模態模型的產品或服務的最終用戶。

請通過以下方式之一報告本政策的任何違反行為、軟件 “漏洞” 或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama-models/issues
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告可接受使用政策的違反行為或 Llama 3.2 的未經授權使用：LlamaUseReport@meta.com

額外信息表格