Llama 3.2 3B Instruct QLORA INT4 EO8

🚀 Llama 3.2大語言模型

Llama 3.2是Meta推出的多語言大語言模型，提供1B和3B兩種參數規模的預訓練和指令微調生成模型。它在多語言對話、知識檢索和總結等任務上表現出色，超越了許多開源和閉源聊天模型。

🚀 快速開始

Llama 3.2模型的使用需遵循Llama 3.2社區許可協議。若要使用該模型，可參考Llama模型的README獲取反饋或評論說明，更多關於生成參數和在應用中使用Llama 3.2的技術信息可前往此處查看。

✨ 主要特性

• 多語言支持：官方支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語，且在更廣泛的語言集上進行了訓練。
• 優化架構：採用優化的Transformer架構，微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF），以符合人類對有用性和安全性的偏好。
• 高性能表現：在常見行業基準測試中，優於許多現有的開源和閉源聊天模型。

📚 詳細文檔

模型信息

預期用途

• 預期用例：適用於多語言的商業和研究用途。指令微調的純文本模型適用於類似助手的聊天和代理應用，如知識檢索和總結、移動AI寫作助手以及查詢和提示重寫。預訓練模型可用於各種自然語言生成任務，量化模型可用於計算資源有限的設備端用例。
• 超出範圍：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用，禁止違反可接受使用政策和Llama 3.2社區許可協議的使用，禁止在本模型卡未明確支持的語言中使用。

硬件和軟件

• 訓練因素：使用自定義訓練庫、Meta定製的GPU集群和生產基礎設施進行預訓練，微調、量化、註釋和評估也在生產基礎設施上進行。
• 訓練能源使用：在H100 - 80GB（TDP為700W）類型的硬件上累計使用了916k GPU小時進行訓練。
• 訓練溫室氣體排放：基於位置的估計總溫室氣體排放量為240噸CO2eq，基於市場的總溫室氣體排放量為0噸CO2eq。

Llama 3.2社區許可協議

LLAMA 3.2社區許可協議

Llama 3.2版本發佈日期：2024年9月25日

“協議”指本協議中規定的關於使用、複製、分發和修改Llama材料的條款和條件。

“文檔”指Meta在https://llama.meta.com/doc/overview 上分發的隨Llama 3.2附帶的規格、手冊和文檔。

“被許可方”或“您”指您，或您的僱主，或任何其他個人或實體（如果您代表該個人或實體簽訂本協議），且該個人或實體達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表他們簽訂本協議，具有約束您的僱主或該其他個人或實體的法律權力。

“Llama 3.2”指基礎大語言模型、軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及Meta在https://www.llama.com/llama-downloads 上分發的上述其他元素。

“Llama材料”指根據本協議提供的Meta專有的Llama 3.2和文檔（及其任何部分）的統稱。

“Meta”或“我們”指Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地位於歐洲經濟區或瑞士）和Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

通過點擊下方的“我接受”，或使用或分發Llama材料的任何部分或元素，您同意受本協議的約束。

1. 許可權利和再分發
   • 權利授予：您被授予在Llama材料中體現的Meta知識產權或Meta擁有的其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對Llama材料進行修改。
   • 再分發和使用
     • 如果您分發或提供Llama材料（或其任何衍生作品），或包含其中任何內容的產品或服務（包括另一個AI模型），您應（A）隨任何此類Llama材料提供本協議的副本；（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Llama”。如果您使用Llama材料或Llama材料的任何輸出或結果來創建、訓練、微調或以其他方式改進一個AI模型，並進行分發或提供，您還應在任何此類AI模型名稱的開頭包含“Llama”。
     • 如果您作為集成終端用戶產品的一部分從被許可方處接收Llama材料或其任何衍生作品，則本協議第2條不適用於您。
     • 您必須在分發的所有Llama材料副本中，在作為此類副本一部分分發的“通知”文本文件中保留以下歸屬聲明：“Llama 3.2根據Llama 3.2社區許可協議獲得許可，版權所有© Meta Platforms, Inc.保留所有權利。”
     • 您對Llama材料的使用必須符合適用的法律法規（包括貿易合規法律法規），並遵守Llama材料的可接受使用政策（可在https://www.llama.com/llama3_2/use-policy 上獲取），該政策特此通過引用併入本協議。
2. 額外商業條款：如果在Llama 3.2版本發佈日期，被許可方或被許可方關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過7億月活躍用戶，您必須向Meta請求許可，Meta可自行決定是否授予您許可，並且在Meta明確授予您此類權利之前，您無權行使本協議下的任何權利。
3. 保修免責聲明：除非適用法律要求，Llama材料及其任何輸出和結果按“現狀”提供，不提供任何形式的保證，Meta否認所有明示和暗示的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發Llama材料的適當性，並承擔與您使用Llama材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta或其關聯公司均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、示範性或懲罰性損害承擔責任，無論責任理論如何，即使Meta或其關聯公司已被告知任何上述損害的可能性。
5. 知識產權
   • 本協議未授予商標許可，與Llama材料相關，除非在描述和再分發Llama材料時合理和慣常使用所需，或如本節5(a)所述，Meta和被許可方均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標記。Meta特此授予您僅為遵守第1.b.i條最後一句的要求使用“Llama”（“標記”）的許可。您將遵守Meta的品牌指南（目前可在https://about.meta.com/brand/resources/meta/company-brand/ 上獲取）。因您使用標記而產生的所有商譽將歸屬於Meta。
   • 鑑於Meta對Llama材料及其為Meta製作的衍生作品的所有權，就您製作的Llama材料的任何衍生作品和修改而言，在您和Meta之間，您是並將是此類衍生作品和修改的所有者。
   • 如果您對Meta或任何實體提起訴訟或其他程序（包括訴訟中的交叉索賠或反訴），聲稱Llama材料或Llama 3.2的輸出或結果，或上述任何部分構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可將自此類訴訟或索賠提起之日起終止。您將賠償並使Meta免受因您使用或分發Llama材料而引起的或與之相關的任何第三方索賠。
6. 期限和終止：本協議的期限將自您接受本協議或訪問Llama材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta可終止本協議。本協議終止後，您應刪除並停止使用Llama材料。第3、4和7條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議受加利福尼亞州法律管轄和解釋，不考慮法律選擇原則，《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 3.2可接受使用政策

Meta致力於促進其工具和功能（包括Llama 3.2）的安全和公平使用。如果您訪問或使用Llama 3.2，您同意本可接受使用政策（“政策”）。本政策的最新版本可在https://www.llama.com/llama3_2/use-policy上找到。

禁止使用

• 違法或侵犯他人權利：您同意不使用或允許他人使用Llama 3.2從事、促進、生成、促成、鼓勵、策劃、煽動或進一步實施非法或違法活動或內容，例如暴力或恐怖主義、對兒童的剝削或傷害、人口販運、性暴力、向未成年人非法分發信息或材料、性招攬、任何其他犯罪活動等；從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌；從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為；從事未經授權或無執照的任何專業實踐；收集、處理、披露、生成或推斷個人的私人或敏感信息，除非您已根據適用法律獲得這樣做的權利；從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為或生成任何內容；創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒或做任何可能禁用、負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的事情；從事任何故意規避或移除使用限制或其他安全措施的行為，或啟用Meta禁用的功能。
• 存在人身傷害風險的活動：從事、促進、煽動、便利或協助策劃或開展對個人存在死亡或身體傷害風險的活動，包括與軍事、戰爭、核工業或應用、間諜活動、受美國國務院《國際武器貿易條例》（ITAR）約束的材料或活動、槍支和非法武器、非法藥物和受管制/受控物質、關鍵基礎設施運營、運輸技術或重型機械、自我傷害或傷害他人、任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容相關的Llama 3.2使用。
• 欺騙或誤導他人：故意欺騙或誤導他人，包括生成、促進或進一步實施欺詐或創建或促進虛假信息；生成、促進或進一步傳播誹謗性內容；生成、促進或進一步分發垃圾郵件；未經同意、授權或合法權利冒充他人；表示Llama 3.2的使用或輸出是人類生成的；生成或便利虛假的在線互動。
• 未適當披露風險：未能向最終用戶適當披露您的AI系統的任何已知危險。
• 與非法工具交互：與旨在生成非法內容或從事非法或有害行為的第三方工具、模型或軟件進行交互，並/或表示此類工具、模型或軟件的輸出與Meta或Llama 3.2相關聯。

對於Llama 3.2中包含的任何多模態模型，如果您是居住在歐盟的個人，或主要營業地在歐盟的公司，則不授予您Llama 3.2社區許可協議第1(a)條下的權利。此限制不適用於包含任何此類多模態模型的產品或服務的最終用戶。

請通過以下方式之一報告本政策的任何違反行為、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama-models/issues
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用Llama 3.2的行為：LlamaUseReport@meta.com

額外門控信息

如果您需要訪問Llama 3.2模型，需要提供以下信息：

通過點擊下方的“提交”，您接受許可協議的條款，並確認您提供的信息將根據Meta隱私政策進行收集、存儲、處理和共享。

額外門控描述

您提供的信息將根據Meta隱私政策進行收集、存儲、處理和共享。

額外門控按鈕內容

提交

📄 許可證

Llama 3.2的使用受Llama 3.2社區許可協議（自定義商業許可協議）的約束。

⚠️ 重要提示

使用Llama 3.2必須遵守適用的法律法規和可接受使用政策，否則可能導致法律責任。

💡 使用建議

開發者在使用Llama 3.2時，應確保其部署安全、負責，並遵循Meta的品牌指南。在使用模型時，可參考Llama模型的README和llama-recipes獲取更多技術信息。