Llama 4 Maverick 17B 16E Instruct 4bit

🚀 mlx-community/Llama-4-Maverick-17B-16E-Instruct-4bit

本項目將模型 meta-llama/Llama-4-Maverick-17B-128E-Instruct 轉換為 MLX 格式，得到 mlx-community/Llama-4-Maverick-17B-16E-Instruct-4bit，使用的是 mlx-lm 版本 0.22.3。

🚀 快速開始

安裝依賴

pip install mlx-lm

使用示例

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-4-Maverick-17B-16E-Instruct-4bit")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

📄 許可證

LLAMA 4 社區許可協議

Llama 4 版本生效日期：2025 年 4 月 5 日

“協議” 指本協議中規定的 Llama 材料的使用、複製、分發和修改的條款和條件。

“文檔” 指 Meta 在 https://www.llama.com/docs/overview 上分發的 Llama 4 隨附的規範、手冊和文檔。

“被許可方” 或 “您” 指您，或您的僱主，或任何其他人或實體（如果您代表該人或實體簽訂本協議），且您已達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表他們簽訂本協議，您有權約束您的僱主或該其他人或實體。

“Llama 4” 指基礎大語言模型以及軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及 Meta 在 https://www.llama.com/llama-downloads 上分發的上述內容的其他元素。

“Llama 材料” 指根據本協議提供的 Meta 專有 Llama 4 和文檔（及其任何部分）的統稱。

“Meta” 或 “我們” 指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地位於歐洲經濟區或瑞士）和 Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

通過點擊下面的 “我接受”，或使用或分發 Llama 材料的任何部分或元素，即表示您同意受本協議的約束。

1. 許可權利和再分發
   • 權利授予：您被授予在 Llama 材料中體現的 Meta 知識產權或 Meta 擁有的其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • 再分發和使用
     • 如果您分發或提供 Llama 材料（或其任何衍生作品），或包含其中任何內容的產品或服務（包括另一個 AI 模型），您應：
       • 隨任何此類 Llama 材料提供本協議的副本；
       • 在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示 “Built with Llama”。如果您使用 Llama 材料或 Llama 材料的任何輸出或結果來創建、訓練、微調或以其他方式改進一個 AI 模型，並進行分發或提供該模型，您還應在任何此類 AI 模型名稱的開頭包含 “Llama”。
     • 如果您從被許可方處作為集成最終用戶產品的一部分接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。
     • 您必須在分發的所有 Llama 材料副本中，在作為此類副本一部分分發的 “通知” 文本文件中保留以下歸屬聲明：“Llama 4 已根據 Llama 4 社區許可獲得許可，版權所有 © Meta Platforms, Inc. 保留所有權利。”
     • 您對 Llama 材料的使用必須遵守適用的法律和法規（包括貿易合規法律和法規），並遵守 Llama 材料的可接受使用政策（可在 https://www.llama.com/llama4/use-policy 上獲取），該政策特此通過引用併入本協議。
2. 額外商業條款：如果在 Llama 4 版本發佈日期，被許可方或被許可方關聯方提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億月活躍用戶，您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可，並且除非 Meta 明確授予您此類權利，否則您無權行使本協議下的任何權利。
3. 保修免責聲明：除非適用法律要求，否則 Llama 材料及其任何輸出和結果按 “現狀” 提供，不提供任何形式的保證，Meta 明確排除所有明示和暗示的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與您使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta 或其關聯方均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，無論責任理論是合同、侵權、疏忽、產品責任還是其他，即使 Meta 或其關聯方已被告知此類損害的可能性。
5. 知識產權
   • 本協議未授予商標許可，關於 Llama 材料，除非在描述和再分發 Llama 材料時進行合理和慣常使用所需，或如本節 5(a) 所述，否則 Meta 和被許可方均不得使用對方或其任何關聯方擁有或關聯的任何名稱或標記。Meta 特此授予您僅在遵守第 1.b.i 條最後一句要求的情況下使用 “Llama”（“標記”）的許可。您將遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/) 上獲取）。因您使用標記而產生的所有商譽將歸 Meta 所有。
   • 鑑於 Meta 對 Llama 材料及其為 Meta 製作的衍生作品的所有權，就您製作的 Llama 材料的任何衍生作品和修改而言，在您和 Meta 之間，您是且將是此類衍生作品和修改的所有者。
   • 如果您對 Meta 或任何實體提起訴訟或其他程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Llama 4 的輸出或結果，或上述任何內容的任何部分構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可應自提起此類訴訟或索賠之日起終止。您將賠償並使 Meta 免受任何第三方因您使用或分發 Llama 材料而產生或與之相關的任何索賠。
6. 期限和終止：本協議的期限將在您接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

額外信息

額外必填字段

在獲取模型時，您需要提供以下信息：

• 名字
• 姓氏
• 出生日期
• 國家
• 所屬機構
• 職位（可選值：學生、研究畢業生、AI 研究員、AI 開發者/工程師、記者、其他）
• 地理位置（通過 IP 定位）

額外提示

• 您需要勾選 “我接受許可條款，並確認我提供的信息將根據 Meta 隱私政策進行收集、存儲、處理和共享” 選項。
• 請務必提供您的完整法定姓名、出生日期和包含所有公司標識的完整組織名稱。避免使用縮寫和特殊字符。不遵守這些說明可能會導致您無法訪問此模型和 Hugging Face 上的其他模型。提交後您將無法編輯此表單，請確保所有信息準確無誤。
• 您提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享。
• 點擊 “提交” 按鈕完成信息提交。