Meta Llama 3 8B Instruct Q4 K M GGUF

🚀 元 Llama 3 8B 指令 Q4_K_M - GGUF 模型

本項目將模型從 meta-llama/Meta-Llama-3-8B-Instruct 轉換為 GGUF 格式，轉換借助 llama.cpp 並通過 ggml.ai 的 GGUF-my-repo 空間完成。如需瞭解該模型的更多詳細信息，請參考 原始模型卡片。

🚀 快速開始

與 llama.cpp 配合使用

安裝 llama.cpp

可通過 Homebrew 安裝 llama.cpp：

brew install ggerganov/ggerganov/llama.cpp

調用 llama.cpp 服務器或命令行界面（CLI）

• 命令行界面（CLI）：

llama-cli --hf-repo noeljacob/Meta-Llama-3-8B-Instruct-Q4_K_M-GGUF --model meta-llama-3-8b-instruct.Q4_K_M.gguf -p "The meaning to life and the universe is"

• 服務器：

llama-server --hf-repo noeljacob/Meta-Llama-3-8B-Instruct-Q4_K_M-GGUF --model meta-llama-3-8b-instruct.Q4_K_M.gguf -c 2048

注意：你也可以直接按照 Llama.cpp 倉庫中列出的 使用步驟 使用此檢查點：

git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && make && ./main -m meta-llama-3-8b-instruct.Q4_K_M.gguf -n 128

📄 許可證

META LLAMA 3 社區許可協議

Meta Llama 3 版本發佈日期：2024 年 4 月 18 日

“協議”指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔”指 Meta 在 https://llama.meta.com/get-started/ 上分發的與 Meta Llama 3 配套的規格說明、手冊和文檔。

“被許可方”或“你”指你，或你的僱主，或任何其他人或實體（如果你代表該人或實體簽訂本協議），該人或實體需達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果你代表僱主或其他人員或實體簽訂本協議，該人或實體具有約束僱主或該其他人員或實體的合法權力。

“Meta Llama 3”指基礎大語言模型以及軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及 Meta 在 https://llama.meta.com/llama-downloads 上分發的上述內容的其他元素。

“Llama 材料”指根據本協議提供的 Meta 專有 Meta Llama 3 和文檔（及其任何部分）的統稱。

“Meta”或“我們”指 Meta Platforms Ireland Limited（如果你位於歐洲經濟區（EEA）或瑞士，或者如果你是一個實體，你的主要營業地在 EEA 或瑞士）和 Meta Platforms, Inc.（如果你位於 EEA 或瑞士以外）。

1. 許可權利和再分發
   • 權利授予：你被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • 再分發和使用
     • 如果你分發或提供 Llama 材料（或其任何衍生作品），或使用其中任何材料的產品或服務，包括另一個人工智能模型，你應（A）隨任何此類 Llama 材料提供本協議的副本；（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Meta Llama 3”。如果你使用 Llama 材料創建、訓練、微調或以其他方式改進一個人工智能模型，並進行分發或提供該模型，你還應在任何此類人工智能模型名稱的開頭包含“Llama 3”。
     • 如果你作為集成最終用戶產品的一部分從被許可方處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於你。
     • 你必須在你分發的所有 Llama 材料副本中，在作為此類副本一部分分發的“Notice”文本文件中保留以下歸屬聲明：“Meta Llama 3 is licensed under the Meta Llama 3 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.”
     • 你對 Llama 材料的使用必須符合適用的法律法規（包括貿易合規法律法規），並遵守 Llama 材料的可接受使用政策（可在 https://llama.meta.com/llama3/use-policy 上獲取），該政策特此通過引用併入本協議。
     • 你不得使用 Llama 材料或 Llama 材料的任何輸出或結果來改進任何其他大語言模型（不包括 Meta Llama 3 或其衍生作品）。
2. 額外商業條款：如果在 Meta Llama 3 版本發佈日期，被許可方或被許可方關聯方提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億月活躍用戶，你必須向 Meta 請求許可，Meta 可自行決定是否授予你許可，並且在 Meta 明確授予你此類權利之前，你無權行使本協議下的任何權利。
3. 保修免責聲明：除非適用法律要求，Llama 材料及其任何輸出和結果按“現狀”提供，不提供任何形式的保證，Meta 明確排除所有形式的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。你獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與你使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta 或其關聯方均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，無論責任理論是合同、侵權、疏忽、產品責任還是其他，即使 Meta 或其關聯方已被告知此類損害的可能性。
5. 知識產權
   • 本協議未授予商標許可，關於 Llama 材料，除非為描述和再分發 Llama 材料的合理和慣常使用所必需，或如本節 5(a) 所述，Meta 和被許可方均不得使用對方或其任何關聯方擁有或關聯的任何名稱或標記。Meta 特此授予你僅為遵守第 1.b.i 條最後一句的要求而使用“Llama 3”（“標記”）的許可。你將遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 上獲取）。因你使用標記而產生的所有商譽將歸 Meta 所有。
   • 鑑於 Meta 對 Llama 材料及其為 Meta 製作的衍生作品的所有權，就你製作的 Llama 材料的任何衍生作品和修改而言，在你和 Meta 之間，你是且將是此類衍生作品和修改的所有者。
   • 如果你對 Meta 或任何實體提起訴訟或其他法律程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Meta Llama 3 的輸出或結果，或上述任何內容的任何部分，構成侵犯你擁有或可許可的知識產權或其他權利，則本協議授予你的任何許可應自提起此類訴訟或索賠之日起終止。你將賠償並使 Meta 免受任何第三方因你使用或分發 Llama 材料而產生或與之相關的任何索賠。
6. 期限和終止：本協議的期限自你接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果你違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，你應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議產生的任何爭議具有專屬管轄權。

Meta Llama 3 可接受使用政策

Meta 致力於促進其工具和功能（包括 Meta Llama 3）的安全和公平使用。如果你訪問或使用 Meta Llama 3，即表示你同意本可接受使用政策（“政策”）。本政策的最新版本可在 https://llama.meta.com/llama3/use-policy 上找到。

禁止使用情況

我們希望每個人都能安全、負責任地使用 Meta Llama 3。你同意你不會使用或允許他人使用 Meta Llama 3 來：

1. 違反法律或他人權利，包括：
   • 從事、促進、生成、促成、鼓勵、策劃、煽動或助長非法或違法活動或內容，例如：
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容，或未能報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未能對此類信息或材料採用法律要求的年齡限制
     • 性招攬
     • 任何其他犯罪活動
   • 從事、促進、煽動或助長對個人或群體的騷擾、虐待、威脅或欺凌
   • 從事、促進、煽動或助長在就業、就業福利、信貸、住房、其他經濟利益或其他基本商品和服務提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
   • 從事或促成任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
   • 創建、生成或促成惡意代碼、惡意軟件、計算機病毒的創建，或進行任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的行為
2. 從事、促進、煽動、促成或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的 Meta Llama 3 的使用：
   • 軍事、戰爭、核工業或應用、間諜活動、用於受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法毒品和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或對他人的傷害，包括自殺、自殘和飲食失調
   • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下方面相關的 Meta Llama 3 的使用：
   • 生成、促進或助長欺詐或虛假信息的創建或傳播
   • 生成、促進或助長誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 聲稱使用 Meta Llama 3 或其輸出是人類生成的
   • 生成或促成虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露你的人工智能系統的任何已知危險

請通過以下方式之一報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama3
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用 Meta Llama 3 的情況：LlamaUseReport@meta.com