模型概述
模型特點
模型能力
使用案例
🚀 meta-llama/CodeLlama-7b-hf - GGUF
本倉庫包含 meta-llama/CodeLlama-7b-hf 的 GGUF 格式模型文件。
這些文件使用 TensorBlock 提供的機器進行量化,並且與 提交 b4011 版本起的 llama.cpp 兼容。

📚 詳細文檔
我們的項目
項目名稱 | 項目詳情 |
---|---|
Forge | ![]() 一個與 OpenAI 兼容的多供應商路由層。 🚀 立即試用!🚀 |
Awesome MCP Servers | ![]() 一個全面的模型上下文協議(MCP)服務器集合。 👀 查看我們的成果 👀 |
TensorBlock Studio | ![]() 一個輕量級、開放且可擴展的多大型語言模型交互工作室。 👀 查看我們的成果 👀 |
提示模板
模型文件規格
文件名 | 量化類型 | 文件大小 | 描述 |
---|---|---|---|
CodeLlama-7b-hf-Q2_K.gguf | Q2_K | 2.533 GB | 最小,但有顯著的質量損失 - 不建議用於大多數場景 |
CodeLlama-7b-hf-Q3_K_S.gguf | Q3_K_S | 2.948 GB | 非常小,但有較高的質量損失 |
CodeLlama-7b-hf-Q3_K_M.gguf | Q3_K_M | 3.298 GB | 非常小,但有較高的質量損失 |
CodeLlama-7b-hf-Q3_K_L.gguf | Q3_K_L | 3.597 GB | 小,但有較大的質量損失 |
CodeLlama-7b-hf-Q4_0.gguf | Q4_0 | 3.826 GB | 舊版;小,但有非常高的質量損失 - 建議使用 Q3_K_M |
CodeLlama-7b-hf-Q4_K_S.gguf | Q4_K_S | 3.857 GB | 小,但有較大的質量損失 |
CodeLlama-7b-hf-Q4_K_M.gguf | Q4_K_M | 4.081 GB | 中等,質量平衡 - 推薦使用 |
CodeLlama-7b-hf-Q5_0.gguf | Q5_0 | 4.652 GB | 舊版;中等,質量平衡 - 建議使用 Q4_K_M |
CodeLlama-7b-hf-Q5_K_S.gguf | Q5_K_S | 4.652 GB | 大,質量損失低 - 推薦使用 |
CodeLlama-7b-hf-Q5_K_M.gguf | Q5_K_M | 4.783 GB | 大,質量損失非常低 - 推薦使用 |
CodeLlama-7b-hf-Q6_K.gguf | Q6_K | 5.529 GB | 非常大,質量損失極低 |
CodeLlama-7b-hf-Q8_0.gguf | Q8_0 | 7.161 GB | 非常大,質量損失極低 - 不建議使用 |
下載說明
命令行
首先,安裝 Huggingface 客戶端:
pip install -U "huggingface_hub[cli]"
然後,將單個模型文件下載到本地目錄:
huggingface-cli download tensorblock/CodeLlama-7b-hf-GGUF --include "CodeLlama-7b-hf-Q2_K.gguf" --local-dir MY_LOCAL_DIR
如果你想使用通配符模式(例如 *Q4_K*gguf
)下載多個模型文件,可以嘗試以下命令:
huggingface-cli download tensorblock/CodeLlama-7b-hf-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'
許可證
你需要與 Meta 共享聯繫信息才能訪問此模型。
LLAMA 2 社區許可協議
“協議” 指的是本文規定的 Llama 材料的使用、複製、分發和修改的條款和條件。“文檔” 指的是 Meta 在 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ 分發的 Llama 2 隨附的規格、手冊和文檔。“被許可方” 或 “你” 指的是你,或者你的僱主,或者任何其他人或實體(如果你代表該人或實體簽訂本協議),其達到適用法律、規則或法規要求的提供法律同意的年齡,並且如果你代表你的僱主或其他人員或實體簽訂本協議,具有約束他們的法律權力。“Llama 2” 指的是基礎大語言模型以及軟件和算法,包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及 Meta 在 ai.meta.com/resources/models-and-libraries/llama-downloads/ 分發的上述內容的其他元素。“Llama 材料” 指的是 Meta 根據本協議提供的專有 Llama 2 和文檔(及其任何部分)的統稱。“Meta” 或 “我們” 指的是 Meta Platforms Ireland Limited(如果你位於歐洲經濟區或瑞士,或者如果你是一個實體,你的主要營業地位於歐洲經濟區或瑞士)和 Meta Platforms, Inc.(如果你位於歐洲經濟區或瑞士以外)。
通過點擊下面的 “我接受”,或者使用或分發 Llama 材料的任何部分或元素,你同意受本協議約束。
- 許可權利和再分發
- 權利授予:你被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可,以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
- 再分發和使用
- 如果你將 Llama 材料或其任何衍生作品分發給第三方,你應向該第三方提供本協議的副本。
- 如果你作為集成最終用戶產品的一部分從被許可方處收到 Llama 材料或其任何衍生作品,則本協議第 2 條不適用於你。
- 你必須在你分發的所有 Llama 材料副本中,在作為此類副本一部分分發的 “通知” 文本文件中保留以下歸屬聲明:“Llama 2 根據 LLAMA 2 社區許可協議獲得許可,版權所有 (c) Meta Platforms, Inc. 保留所有權利。”
- 你對 Llama 材料的使用必須遵守適用的法律和法規(包括貿易合規法律和法規),並遵守 Llama 材料的可接受使用政策(可在 https://ai.meta.com/llama/use-policy 找到),該政策特此通過引用併入本協議。
- 你不得使用 Llama 材料或 Llama 材料的任何輸出或結果來改進任何其他大語言模型(不包括 Llama 2 或其衍生作品)。
- 額外商業條款:如果在 Llama 2 版本發佈日期,被許可方或被許可方的關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億月活躍用戶,你必須向 Meta 請求許可,Meta 可自行決定是否授予你許可,並且在 Meta 明確授予你此類權利之前,你無權行使本協議下的任何權利。
- ** warranty 免責聲明**:除非適用法律要求,否則 Llama 材料及其任何輸出和結果均按 “現狀” 提供,不提供任何形式的保證,無論是明示的還是暗示的,包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。你獨自負責確定使用或再分發 Llama 材料的適當性,並承擔與你使用 Llama 材料及其任何輸出和結果相關的任何風險。
- 責任限制:在任何情況下,Meta 或其關聯公司均不對因本協議引起的任何責任理論下的任何損失利潤或任何間接、特殊、後果性、偶發性、示範性或懲罰性損害負責,即使 Meta 或其關聯公司已被告知此類損害的可能性。
- 知識產權
- 本協議未授予商標許可,並且在涉及 Llama 材料時,Meta 和被許可方均不得使用對方或其任何關聯公司擁有或與之相關的任何名稱或標誌,除非在描述和再分發 Llama 材料時進行合理和慣常使用所需。
- 鑑於 Meta 對 Llama 材料及其由 Meta 或代表 Meta 製作的衍生作品的所有權,就你製作的 Llama 材料的任何衍生作品和修改而言,在你和 Meta 之間,你是並將是此類衍生作品和修改的所有者。
- 如果你對 Meta 或任何實體提起訴訟或其他程序(包括在訴訟中的交叉索賠或反訴),聲稱 Llama 材料或 Llama 2 的輸出或結果,或上述任何內容的任何部分構成侵犯你擁有或可許可的知識產權或其他權利,則本協議授予你的任何許可應自提起此類訴訟或索賠之日起終止。你將賠償並使 Meta 免受任何第三方因你使用或分發 Llama 材料而產生或與之相關的任何索賠。
- 期限和終止:本協議的期限將自你接受本協議或訪問 Llama 材料時開始,並將持續完全有效,直至根據本文的條款和條件終止。如果你來違反本協議的任何條款或條件,Meta 可終止本協議。本協議終止後,你應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
- 適用法律和管轄權:本協議將受加利福尼亞州法律管轄並依其解釋,不考慮法律選擇原則,並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。
Llama 2 可接受使用政策
Meta 致力於促進其工具和功能(包括 Llama 2)的安全和公平使用。如果你訪問或使用 Llama 2,你同意本可接受使用政策(“政策”)。本政策的最新版本可在 ai.meta.com/llama/use-policy 找到。
禁止使用
我們希望每個人都能安全、負責任地使用 Llama 2。你同意你不會使用或允許他人使用 Llama 2 來:
- 違反法律或他人權利,包括但不限於
- 從事、促進、生成、促成、鼓勵、計劃、煽動或進一步推動非法或違法活動或內容,例如
- 暴力或恐怖主義
- 對兒童的剝削或傷害,包括招攬、創建、獲取或傳播兒童剝削內容,或未能報告兒童性虐待材料
- 人口販運、剝削和性暴力
- 向未成年人非法分發信息或材料,包括淫穢材料,或未能對此類信息或材料採用法律要求的年齡限制
- 性招攬
- 任何其他犯罪活動
- 從事、促進、煽動或便利對個人或個人群體的騷擾、虐待、威脅或欺凌
- 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
- 從事未經授權或無執照的任何專業實踐,包括但不限於金融、法律、醫療/健康或相關專業實踐
- 在未獲得適用法律要求的權利和同意的情況下,收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
- 從事或便利任何侵犯、盜用或以其他方式違反任何第三方權利的行為或生成任何內容,包括使用 Llama 2 材料的任何產品或服務的輸出或結果
- 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒,或做任何其他可能禁用、使過載、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的事情
- 從事、促進、生成、促成、鼓勵、計劃、煽動或進一步推動非法或違法活動或內容,例如
- 從事、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動,包括與以下方面相關的 Llama 2 的使用
- 軍事、戰爭、核工業或應用、間諜活動、使用受美國國務院維護的《國際武器貿易條例》(ITAR)約束的材料或活動
- 槍支和非法武器(包括武器開發)
- 非法毒品和受管制/受控物質
- 關鍵基礎設施、運輸技術或重型機械的操作
- 自我傷害或傷害他人,包括自殺、自殘和飲食失調
- 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
- 故意欺騙或誤導他人,包括與以下方面相關的 Llama 2 的使用
- 生成、促進或進一步推動欺詐或創建或促進虛假信息
- 生成、促進或進一步推動誹謗性內容,包括創建誹謗性聲明、圖像或其他內容
- 生成、促進或進一步分發垃圾郵件
- 在未經同意、授權或合法權利的情況下冒充他人
- 聲稱 Llama 2 的使用或輸出是人類生成的
- 生成或便利虛假的在線互動,包括虛假評論和其他虛假在線互動方式
- 未能向最終用戶適當披露你的人工智能系統的任何已知危險
請通過以下方式之一報告本政策的任何違反行為、軟件 “漏洞” 或其他可能導致違反本政策的問題:
- 報告模型問題:github.com/facebookresearch/llama
- 報告模型生成的風險內容:developers.facebook.com/llama_output_feedback
- 報告漏洞和安全問題:facebook.com/whitehat/info
- 報告可接受使用政策的違反行為或 Llama 的未經授權使用:LlamaUseReport@meta.com
你提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享。



