Meta-Llama-3-8B-Instruct-GGUF開源模型 - 免費本地部署實現高效推理

首頁

Meta Llama 3 8B Instruct GGUF

由LiteLLMs開發

Meta-Llama-3-8B-Instruct的GGUF量化版本，適用於本地部署和推理

大型語言模型英語開源協議:其他 #8B參數指令微調 #多輪對話優化 #GGUF高效推理

下載量 76

發布時間 : 4/18/2024

模型概述

這是Meta發佈的Llama 3系列8B參數指令調優模型的GGUF格式版本，優化了在消費級硬件上的運行效率

模型特點

高效量化

提供多種量化級別(Q2_K到Q6_K)，平衡模型大小和推理質量

本地部署

GGUF格式支持在消費級硬件上高效運行

長上下文支持

支持8K tokens的上下文長度

多平臺兼容

支持多種運行環境包括llama.cpp、LM Studio等

模型能力

對話生成

文本補全

指令跟隨

創意寫作

使用案例

內容創作

故事生成

生成創意故事和小說內容

可生成連貫、富有創意的敘事文本

文章寫作

輔助撰寫各類文章和報告

能根據提示生成結構合理的文章

編程輔助

代碼生成

根據描述生成代碼片段

能生成多種編程語言的代碼

🚀 Meta-Llama-3-8B-Instruct-GGUF

本項目提供了 Meta-Llama-3-8B-Instruct 模型的 GGUF 格式文件，方便用戶在多種客戶端和庫中使用該模型。

🚀 快速開始

關於 GGUF

GGUF 是 llama.cpp 團隊在 2023 年 8 月 21 日推出的一種新格式，它取代了不再受 llama.cpp 支持的 GGML 格式。以下是一些已知支持 GGUF 的客戶端和庫：

llama.cpp：GGUF 的源項目，提供命令行界面（CLI）和服務器選項。
text-generation-webui：最廣泛使用的 Web UI，具有眾多功能和強大的擴展，支持 GPU 加速。
Ollama：一個輕量級且可擴展的框架，用於在本地構建和運行語言模型，具有簡單的 API 用於創建、管理和執行模型，以及一個預構建模型庫，可用於各種應用程序。
KoboldCpp：一個全面的 Web UI，支持所有平臺和架構的 GPU 加速，尤其以講故事功能著稱。
GPT4All：一個免費的開源 GUI，可在本地運行，支持 Windows、Linux 和 macOS，具備全 GPU 加速功能。
LM Studio：適用於 Windows 和 macOS（Silicon）的直觀且強大的本地 GUI，支持 GPU 加速。
LoLLMS Web UI：一個值得注意的 Web UI，具有各種獨特功能，包括一個全面的模型庫，便於選擇模型。
Faraday.dev：一個有吸引力、用戶友好的基於角色的聊天 GUI，適用於 Windows 和 macOS（Silicon 和 Intel），也提供 GPU 加速。
llama-cpp-python：一個配備 GPU 加速、支持 LangChain 和 OpenAI 兼容 API 服務器的 Python 庫。
candle：一個基於 Rust 的機器學習框架，注重性能，包括 GPU 支持，設計用於易於使用。
ctransformers：一個具有 GPU 加速、支持 LangChain 和 OpenAI 兼容 AI 服務器的 Python 庫。
localGPT：一個開源項目，支持與文檔進行私密對話。

量化方法說明

點擊查看詳情

新的量化方法如下：

GGML_TYPE_Q2_K - “類型 1” 2 位量化，超級塊包含 16 個塊，每個塊有 16 個權重。塊的縮放和最小值用 4 位量化。最終每個權重有效使用 2.5625 位（bpw）。
GGML_TYPE_Q3_K - “類型 0” 3 位量化，超級塊包含 16 個塊，每個塊有 16 個權重。縮放用 6 位量化。最終每個權重使用 3.4375 bpw。
GGML_TYPE_Q4_K - “類型 1” 4 位量化，超級塊包含 8 個塊，每個塊有 32 個權重。縮放和最小值用 6 位量化。最終每個權重使用 4.5 bpw。
GGML_TYPE_Q5_K - “類型 1” 5 位量化。與 GGML_TYPE_Q4_K 具有相同的超級塊結構，每個權重使用 5.5 bpw。
GGML_TYPE_Q6_K - “類型 0” 6 位量化。超級塊有 16 個塊，每個塊有 16 個權重。縮放用 8 位量化。最終每個權重使用 6.5625 bpw。

如何下載 GGUF 文件

手動下載注意事項：你幾乎不需要克隆整個倉庫！這裡提供了多種不同的量化格式，大多數用戶只需要選擇並下載單個文件夾。

以下客戶端/庫會自動為你下載模型，並提供可用模型列表供你選擇：

LM Studio
LoLLMS Web UI
Faraday.dev

在 `text-generation-webui` 中

在“下載模型”選項下，你可以輸入模型倉庫地址：LiteLLMs/Meta-Llama-3-8B-Instruct-GGUF，然後在下方輸入要下載的具體文件名，例如：Q4_0/Q4_0-00001-of-00009.gguf。

然後點擊“下載”。

在命令行中，一次性下載多個文件

我推薦使用 huggingface-hub Python 庫：

pip3 install huggingface-hub

然後你可以使用以下命令將任何單個模型文件高速下載到當前目錄：

huggingface-cli download LiteLLMs/Meta-Llama-3-8B-Instruct-GGUF Q4_0/Q4_0-00001-of-00009.gguf --local-dir . --local-dir-use-symlinks False

更高級的 huggingface-cli 下載用法（點擊查看）

你也可以使用通配符一次性下載多個文件：

huggingface-cli download LiteLLMs/Meta-Llama-3-8B-Instruct-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

有關使用 huggingface-cli 下載的更多文檔，請參閱：HF -> Hub Python 庫 -> 下載文件 -> 從 CLI 下載。

為了在高速連接（1Gbit/s 或更高）上加速下載，請安裝 hf_transfer：

pip3 install huggingface_hub[hf_transfer]

並將環境變量 HF_HUB_ENABLE_HF_TRANSFER 設置為 1：

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download LiteLLMs/Meta-Llama-3-8B-Instruct-GGUF Q4_0/Q4_0-00001-of-00009.gguf --local-dir . --local-dir-use-symlinks False

Windows 命令行用戶：你可以在下載命令前運行 set HF_HUB_ENABLE_HF_TRANSFER=1 來設置環境變量。

示例 `llama.cpp` 命令

確保你使用的 llama.cpp 版本是 d0cee0d 或更新的版本。

./main -ngl 35 -m Q4_0/Q4_0-00001-of-00009.gguf --color -c 8192 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "<PROMPT>"

將 -ngl 32 更改為要卸載到 GPU 的層數。如果你沒有 GPU 加速，請刪除該參數。

將 -c 8192 更改為所需的序列長度。對於擴展序列模型（例如 8K、16K、32K），必要的 RoPE 縮放參數會從 GGUF 文件中讀取，並由 llama.cpp 自動設置。請注意，更長的序列長度需要更多的資源，因此你可能需要減小該值。

如果你想進行聊天式對話，請將 -p <PROMPT> 參數替換為 -i -ins。

有關其他參數及其使用方法，請參考 llama.cpp 文檔。

如何在 `text-generation-webui` 中運行

更多說明可以在 text-generation-webui 文檔中找到，地址為：text-generation-webui/docs/04 ‐ Model Tab.md。

如何從 Python 代碼中運行

你可以使用 llama-cpp-python 或 ctransformers 庫從 Python 中使用 GGUF 模型。請注意，在撰寫本文時（2023 年 11 月 27 日），ctransformers 已有一段時間未更新，並且與一些最新模型不兼容。因此，我建議你使用 llama-cpp-python。

如何在 Python 代碼中加載此模型，使用 llama-cpp-python

完整文檔請參閱：llama-cpp-python 文檔。

首先安裝包

根據你的系統，運行以下命令之一：

# 無 GPU 加速的基礎 ctransformers
pip install llama-cpp-python
# 帶有 NVidia CUDA 加速
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# 或者帶有 OpenBLAS 加速
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python
# 或者帶有 CLBLast 加速
CMAKE_ARGS="-DLLAMA_CLBLAST=on" pip install llama-cpp-python
# 或者帶有 AMD ROCm GPU 加速（僅適用於 Linux）
CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python
# 或者帶有 Metal GPU 加速（僅適用於 macOS 系統）
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python
# 在 Windows 中，在 PowerShell 中設置變量 CMAKE_ARGS，遵循以下格式；例如對於 NVidia CUDA：
$env:CMAKE_ARGS = "-DLLAMA_OPENBLAS=on"
pip install llama-cpp-python

簡單的 llama-cpp-python 示例代碼

from llama_cpp import Llama
# 將 gpu_layers 設置為要卸載到 GPU 的層數。如果你的系統沒有 GPU 加速，請將其設置為 0。
llm = Llama(
  model_path="./Q4_0/Q4_0-00001-of-00009.gguf",  # 首先下載模型文件
  n_ctx=32768,  # 要使用的最大序列長度 - 請注意，更長的序列長度需要更多的資源
  n_threads=8,            # 要使用的 CPU 線程數，根據你的系統和性能進行調整
  n_gpu_layers=35         # 要卸載到 GPU 的層數，如果你有 GPU 加速可用
)
# 簡單的推理示例
output = llm(
  "<PROMPT>", # 提示
  max_tokens=512,  # 生成最多 512 個令牌
  stop=["</s>"],   # 示例停止令牌 - 不一定適用於此特定模型！使用前請檢查。
  echo=True        # 是否回顯提示
)
# 聊天完成 API
llm = Llama(model_path="./Q4_0/Q4_0-00001-of-00009.gguf", chat_format="llama-2")  # 根據你使用的模型設置 chat_format
llm.create_chat_completion(
    messages = [
        {"role": "system", "content": "You are a story writing assistant."},
        {
            "role": "user",
            "content": "Write a story about llamas."
        }
    ]
)

如何與 LangChain 一起使用

以下是使用 llama-cpp-python 和 ctransformers 與 LangChain 的指南：

✨ 主要特性

模型詳情

Meta 開發併發布了 Meta Llama 3 系列大語言模型（LLM），這是一組包含 80 億和 700 億參數的預訓練和指令微調生成文本模型。Llama 3 指令微調模型針對對話用例進行了優化，在常見的行業基準測試中優於許多可用的開源聊天模型。此外，在開發這些模型時，我們非常注重優化其實用性和安全性。

屬性	詳情
模型開發者	Meta
變體	Llama 3 有兩種大小——80 億和 700 億參數——包括預訓練和指令微調變體。
輸入	模型僅接受文本輸入。
輸出	模型僅生成文本和代碼。
模型架構	Llama 3 是一種自迴歸語言模型，使用優化的變壓器架構。微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF）來符合人類對實用性和安全性的偏好。

	訓練數據	參數	上下文長度	GQA	令牌計數	知識截止日期
Llama 3	一種新的公開可用在線數據組合。	80 億	8k	是	超過 15T	2023 年 3 月
		700 億	8k	是		2023 年 12 月

Llama 3 模型系列：令牌計數僅指預訓練數據。80 億和 700 億參數版本都使用分組查詢注意力（GQA）來提高推理可擴展性。

模型發佈日期：2024 年 4 月 18 日。

狀態：這是一個基於離線數據集訓練的靜態模型。隨著我們根據社區反饋改進模型安全性，未來將發佈微調模型的更新版本。

許可證：可在 https://llama.meta.com/llama3/license 獲取自定義商業許可證。

預期用途

預期用例：Llama 3 旨在用於英語的商業和研究用途。指令微調模型適用於類似助手的聊天，而預訓練模型可用於各種自然語言生成任務。

超出範圍的用途：以任何違反適用法律法規（包括貿易合規法律）的方式使用。以《可接受使用政策》和《Llama 3 社區許可證》禁止的任何其他方式使用。使用除英語以外的語言**。

注意：開發者可以對 Llama 3 模型進行微調以支持英語以外的語言，前提是他們遵守《Llama 3 社區許可證》和《可接受使用政策》。

訓練數據

概述：Llama 3 在超過 15 萬億個來自公開可用來源的令牌數據上進行了預訓練。微調數據包括公開可用的指令數據集，以及超過 1000 萬個手動標註的示例。預訓練和微調數據集均不包含 Meta 用戶數據。

數據新鮮度：預訓練數據的截止日期分別為 70 億參數模型的 2023 年 3 月和 700 億參數模型的 2023 年 12 月。

基準測試

在本節中，我們報告了 Llama 3 模型在標準自動基準測試中的結果。對於所有評估，我們使用內部評估庫。有關方法的詳細信息，請參閱此處。

基礎預訓練模型

類別	基準測試	Llama 3 8B	Llama2 7B	Llama2 13B	Llama 3 70B	Llama2 70B
通用	MMLU（5 次射擊）	66.6	45.7	53.8	79.5	69.7
	AGIEval 英語（3 - 5 次射擊）	45.9	28.8	38.7	63.0	54.8
	常識問答（7 次射擊）	72.6	57.6	67.6	83.8	78.7
	Winogrande（5 次射擊）	76.1	73.3	75.4	83.1	81.8
	BIG - Bench Hard（3 次射擊，思維鏈）	61.1	38.1	47.0	81.3	65.7
	ARC - Challenge（25 次射擊）	78.6	53.7	67.6	93.0	85.3
知識推理	TriviaQA - Wiki（5 次射擊）	78.5	72.1	79.6	89.7	87.5
閱讀理解	SQuAD（1 次射擊）	76.4	72.2	72.1	85.6	82.6
	QuAC（1 次射擊，F1）	44.4	39.6	44.9	51.1	49.4
	BoolQ（0 次射擊）	75.7	65.5	66.9	79.0	73.1
	DROP（3 次射擊，F1）	58.4	37.9	49.8	79.7	70.2

指令微調模型

基準測試	Llama 3 8B	Llama 2 7B	Llama 2 13B	Llama 3 70B	Llama 2 70B
MMLU（5 次射擊）	68.4	34.1	47.8	82.0	52.9
GPQA（0 次射擊）	34.2	21.7	22.3	39.5	21.0
HumanEval（0 次射擊）	62.2	7.9	14.0	81.7	25.6
GSM - 8K（8 次射擊，思維鏈）	79.6	25.7	77.4	93.0	57.5
MATH（4 次射擊，思維鏈）	30.0	3.8	6.7	50.4	11.6

責任與安全

我們相信，開放的人工智能方法能夠帶來更好、更安全的產品，加速創新，並擴大整體市場。我們致力於負責任地開發人工智能，並採取了一系列措施來限制濫用和危害，支持開源社區。

基礎模型是功能廣泛的技術，旨在用於各種應用。它們並非旨在滿足所有開發者在所有用例下對安全級別的偏好，因為這些偏好本質上會因不同應用而異。

相反，負責任的大語言模型應用部署是通過在應用開發的各個階段實施一系列安全最佳實踐來實現的，從模型預訓練、微調，到部署包含保障措施的系統，以滿足特定用例和受眾的安全需求。

作為 Llama 3 發佈的一部分，我們更新了《負責任使用指南》，概述了開發者為其應用實施模型和系統級安全的步驟和最佳實踐。我們還提供了一系列資源，包括 Meta Llama Guard 2 和 Code Shield 保障措施。這些工具已被證明能大幅降低大語言模型系統的殘留風險，同時保持較高的實用性。我們鼓勵開發者根據自身需求調整和部署這些保障措施，並提供了參考實現供你參考。

Llama 3 - Instruct

正如《負責任使用指南》中所述，模型實用性和模型對齊性之間可能存在一定的權衡。開發者應根據具體用例和受眾，謹慎權衡對齊性和實用性的好處。使用 Llama 模型時，開發者應注意殘留風險，並根據需要利用額外的安全工具，以達到適合其用例的安全標準。

安全性：對於我們的指令微調模型，我們進行了廣泛的紅隊測試、對抗性評估，並實施了安全緩解技術，以降低殘留風險。與任何大語言模型一樣，殘留風險可能仍然存在，我們建議開發者在其用例的背景下評估這些風險。同時，我們正在與社區合作，使人工智能安全基準標準更加透明、嚴格和可解釋。

拒絕回答：除了殘留風險，我們非常重視模型對良性提示的拒絕回答情況。過度拒絕不僅會影響用戶體驗，在某些情況下甚至可能有害。我們聽取了開發者社區的反饋，並改進了微調過程，確保 Llama 3 比 Llama 2 更不可能錯誤地拒絕回答提示。

我們建立了內部基準測試，並開發了緩解措施來限制錯誤拒絕回答的情況，使 Llama 3 成為我們迄今為止最實用的模型。

負責任的發佈

除了上述負責任使用的考慮因素外，我們遵循了嚴格的流程，在做出發佈決定之前，採取了額外的措施來防止濫用和應對關鍵風險。

濫用：如果你訪問或使用 Llama 3，你同意遵守《可接受使用政策》。該政策的最新版本可在 https://llama.meta.com/llama3/use-policy/ 找到。

關鍵風險：

CBRNE（化學、生物、放射性、核和高當量爆炸物）：我們對模型在這方面的安全性進行了兩方面評估：
- 在模型訓練期間進行迭代測試，評估與 CBRNE 威脅和其他對抗性風險相關的響應安全性。
- 邀請外部 CBRNE 專家進行提升測試，評估模型準確提供專家知識並減少潛在 CBRNE 濫用障礙的能力，參考不使用模型時通過網絡搜索所能達到的效果。
網絡安全：我們使用 Meta 的網絡安全評估套件 CyberSecEval 對 Llama 3 進行了評估，衡量 Llama 3 在作為編碼助手時建議不安全代碼的傾向，以及在執行網絡攻擊請求時的響應傾向，其中攻擊定義遵循行業標準 MITRE ATT&CK 網絡攻擊本體。在不安全編碼和網絡攻擊實用性測試中，Llama 3 的表現與具有同等編碼能力的模型相當或更安全。
兒童安全：我們組建了專家團隊進行兒童安全風險評估，以評估模型產生可能導致兒童安全風險輸出的能力，並通過微調提供必要的風險緩解措施。我們利用這些專家紅隊測試來擴展評估基準的覆蓋範圍，貫穿 Llama 3 模型的開發過程。對於 Llama 3，我們採用基於目標的方法進行了新的深入測試，評估模型在多種攻擊向量下的風險。我們還與內容專家合作進行紅隊測試，評估可能違反規定的內容，同時考慮特定市場的細微差別和經驗。

社區

生成式人工智能安全需要專業知識和工具，我們相信開放社區的力量能夠加速其發展。我們積極參與開放聯盟，如人工智能聯盟、人工智能合作組織和 MLCommons，為安全標準化和透明度做出貢獻。我們鼓勵社區採用 MLCommons 概念驗證評估等分類法，以促進安全和內容評估的協作與透明度。我們的 Purple Llama 工具已開源，供社區使用，並廣泛分發給包括雲服務提供商在內的生態系統合作伙伴。我們鼓勵社區為我們的 GitHub 倉庫做出貢獻。

最後，我們建立了一系列資源，包括輸出報告機制和漏洞賞金計劃，以藉助社區的力量不斷改進 Llama 技術。

倫理考量與侷限性

Llama 3 的核心價值觀是開放、包容和實用。它旨在為所有人服務，並適用於廣泛的用例。因此，它設計為可供不同背景、經驗和觀點的人使用。Llama 3 以用戶的實際情況和需求為出發點，不插入不必要的判斷或規範性內容，同時認識到即使某些內容在某些情況下可能存在問題，但在其他情況下也可能有價值。它尊重所有用戶的尊嚴和自主權，特別是在推動創新和進步的自由思想和表達價值觀方面。

但 Llama 3 是一項新技術，與任何新技術一樣，其使用存在風險。到目前為止的測試僅在英語環境中進行，無法涵蓋所有場景。因此，與所有大語言模型一樣，Llama 3 的潛在輸出無法提前預測，在某些情況下，模型可能會對用戶提示產生不準確、有偏見或其他令人反感的響應。因此，在部署 Llama 3 模型的任何應用之前，開發者應針對其特定應用進行安全測試和微調。正如《負責任使用指南》中所述，我們建議將 Purple Llama 解決方案納入你的工作流程，特別是 Llama Guard，它提供了一個基礎模型，用於過濾輸入和輸出提示，在模型級安全之上增加系統級安全。

請參閱 http://llama.meta.com/responsible-use-guide 上的《負責任使用指南》。

📚 詳細文檔

如何使用

本倉庫包含兩個版本的 Meta-Llama-3-8B-Instruct，分別用於與 transformers 和原始 llama3 代碼庫配合使用。

與 transformers 配合使用

以下是與 Transformers 配合使用的代碼片段：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

與 `llama3` 配合使用

請遵循倉庫中的說明。

要下載原始檢查點，請參考以下使用 huggingface-cli 的示例命令：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

對於 Hugging Face 支持，我們建議使用 transformers 或 TGI，但類似的命令也適用。

硬件和軟件

訓練因素：我們使用自定義訓練庫、Meta 的研究超級集群和生產集群進行預訓練。微調、標註和評估也在第三方雲計算平臺上進行。

碳足跡：預訓練在 H100 - 80GB 類型的硬件上累計使用了 770 萬個 GPU 小時的計算資源。估計總排放量為 2290 噸二氧化碳當量，其中 100% 由 Meta 的可持續發展計劃抵消。

	時間（GPU 小時）	功耗（W）	碳排放（tCO2eq）
Llama 3 8B	130 萬	700	390
Llama 3 70B	640 萬	700	1900
總計	770 萬		2290

預訓練期間的二氧化碳排放：時間：每個模型訓練所需的總 GPU 時間。功耗：所使用的 GPU 設備的峰值功率容量，根據功率使用效率進行調整。100% 的排放直接由 Meta 的可持續發展計劃抵消，由於我們公開發布了這些模型，其他人無需承擔預訓練成本。

🔧 技術細節

模型架構

Llama 3 是一種自迴歸語言模型，使用優化的變壓器架構。微調版本使用監督微調（SFT）和基於人類反饋的強化學習（RLHF）來符合人類對實用性和安全性的偏好。

訓練數據

Llama 3 在超過 15 萬億個來自公開可用來源的令牌數據上進行了預訓練。微調數據包括公開可用的指令數據集，以及超過 1000 萬個手動標註的示例。預訓練和微調數據集均不包含 Meta 用戶數據。

基準測試方法

對於所有評估，我們使用內部評估庫。有關方法的詳細信息，請參閱此處。

📄 許可證

本項目遵循 Meta Llama 3 社區許可證。具體許可條款如下：

META LLAMA 3 社區許可協議

Meta Llama 3 版本發佈日期：2024 年 4 月 18 日

“協議”指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔”指 Meta 在 https://llama.meta.com/get-started/ 上分發的隨附 Meta Llama 3 的規格、手冊和文檔。

“被許可人”或“您”指您，或您的僱主，或任何其他個人或實體（如果您代表該個人或實體簽訂本協議），該個人或實體達到適用法律、規則或法規要求的提供法律同意的年齡，並且如果您代表他們簽訂本協議，具有約束您的僱主或該其他個人或實體的法律權力。

“Meta Llama 3”指由 Meta 在 https://llama.meta.com/llama-downloads 上分發的基礎大語言模型、軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及上述各項的其他元素。

“Llama 材料”指根據本協議提供的 Meta 專有 Meta Llama 3 和文檔（及其任何部分）的統稱。

“Meta”或“我們”指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地位於歐洲經濟區或瑞士）和 Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

1. 許可權利和再分發

a. 權利授予。您被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。

b. 再分發和使用 i. 如果您分發或提供 Llama 材料（或其任何衍生作品），或使用其中任何材料的產品或服務，包括另一個人工智能模型，您應（A）隨任何此類 Llama 材料提供本協議的副本；並且（B）在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Meta Llama 3”。如果您使用 Llama 材料創建、訓練、微調或以其他方式改進一個人工智能模型，並將其分發或提供，您還應在任何此類人工智能模型名稱的開頭包含“Llama 3”。

ii. 如果您作為集成最終用戶產品的一部分從被許可人處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。

iv. 您使用 Llama 材料必須遵守適用的法律法規（包括貿易合規法律法規），並遵守 Llama 材料的《可接受使用政策》（可在 https://llama.meta.com/llama3/use-policy 上獲取），該政策特此通過引用併入本協議。

v. 您不得使用 Llama 材料或 Llama 材料的任何輸出或結果來改進任何其他大語言模型（不包括 Meta Llama 3 或其衍生作品）。

2. 額外商業條款

如果在 Meta Llama 3 版本發佈日期，被許可人或被許可人的關聯公司提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億月活躍用戶，您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可，並且在 Meta 明確授予您此類權利之前，您無權行使本協議下的任何權利。

3. 保修免責聲明

除非適用法律要求，Llama 材料及其任何輸出和結果均按“現狀”提供，不提供任何形式的保修，Meta 明確否認所有形式的保修，包括但不限於所有權、不侵權、適銷性或特定用途適用性的任何保修。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔使用 Llama 材料及其任何輸出和結果的所有風險。

4. 責任限制

在任何責任理論下，無論在合同、侵權、疏忽、產品責任或其他方面，Meta 或其關聯公司均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，即使 Meta 或其關聯公司已被告知此類損害的可能性。

5. 知識產權

a. 本協議未授予任何商標許可，關於 Llama 材料，Meta 和被許可人均不得使用對方或其任何關聯公司擁有或關聯的任何名稱或標誌，除非在描述和再分發 Llama 材料時合理和慣常使用所需，或如本節 5(a) 所述。Meta 特此授予您僅在遵守第 1.b.i 條最後一句的要求時使用“Llama 3”（“標誌”）的許可。您應遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 上獲取）。因您使用標誌而產生的所有商譽均歸 Meta 所有。

b. 鑑於 Meta 對 Llama 材料及其衍生作品的所有權，對於您對 Llama 材料所做的任何衍生作品和修改，在您和 Meta 之間，您是並將繼續是此類衍生作品和修改的所有者。

c. 如果您對 Meta 或任何實體提起訴訟或其他法律程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Meta Llama 3 的輸出或結果，或上述任何部分，構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可應自該訴訟或索賠提起之日起終止。您應賠償並使 Meta 免受任何第三方因您使用或分發 Llama 材料而產生的或與之相關的索賠。

6. 期限和終止

本協議的期限自您接受本協議或訪問 Llama 材料之日起開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。

7. 適用法律和管轄權

本協議應受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Meta Llama 3 可接受使用政策

Meta 致力於促進其工具和功能（包括 Meta Llama 3）的安全和公平使用。如果您訪問或使用 Meta Llama 3，您同意本《可接受使用政策》（“政策”）。本政策的最新版本可在 https://llama.meta.com/llama3/use-policy 上找到。

禁止使用

我們希望每個人都能安全、負責地使用 Meta Llama 3。您同意您不會使用或允許他人使用 Meta Llama 3 來：

違反法律或他人權利，包括：
1. 從事、促進、生成、促成、鼓勵、計劃、煽動或進一步推動非法或違法活動或內容，例如：
  1. 暴力或恐怖主義
  2. 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容，或未報告兒童性虐待材料
  3. 人口販運、剝削和性暴力
  4. 向未成年人非法分發信息或材料，包括淫穢材料，或未對此類信息或材料採用法律要求的年齡限制
  5. 性招攬
  6. 任何其他犯罪活動
2. 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
3. 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務提供方面的歧視或其他非法或有害行為
4. 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
5. 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
6. 從事或便利任何侵犯、挪用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
7. 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒，或做任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的事情
從事、促進、煽動、便利或協助計劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下相關的 Meta Llama 3 的使用：
1. 軍事、戰爭、核工業或應用、間諜活動、用於受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
2. 槍支和非法武器（包括武器開發）
3. 非法毒品和受管制/受控物質
4. 關鍵基礎設施、運輸技術或重型機械的操作
5. 自我傷害或傷害他人，包括自殺、自殘和飲食失調
6. 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
故意欺騙或誤導他人，包括與以下相關的 Meta Llama 3 的使用：
1. 生成、促進或進一步推動欺詐或虛假信息的創建或傳播
2. 生成、促進或進一步推動誹謗性內容，包括創建誹謗性陳述、圖像或其他內容
3. 生成、促進或進一步分發垃圾郵件
4. 在未經同意、授權或合法權利的情況下冒充他人
5. 表示 Meta Llama 3 的使用或輸出是人類生成的
6. 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
未向最終用戶適當披露您的人工智能系統的任何已知危險

請通過以下方式報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

報告模型問題：https://github.com/meta-llama/llama3
報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
報告漏洞和安全問題：facebook.com/whitehat/info
報告違反《可接受使用政策》或未經授權使用 Meta Llama 3 的情況：LlamaUseReport@meta.com

引用說明

@article{llama3modelcard,
    title={Llama 3 Model Card},
    author={AI@Meta},
    year={2024},
    url = {https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md}
}

貢獻者

Aaditya Singh; Aaron Grattafiori; Abhimanyu Dubey; Abhinav Jauhri; Abhinav Pandey; Abhishek Kadian; Adam Kelsey; Adi Gangidi; Ahmad Al-Dahle; Ahuva Goldstand; Aiesha Letman; Ajay Menon; Akhil Mathur; Alan Schelten; Alex Vaughan; Amy Yang; Andrei Lupu; Andres Alvarado; Andrew Gallagher; Andrew Gu; Andrew Ho; Andrew Poulton; Andrew Ryan; Angela Fan; Ankit Ramchandani; Anthony Hartshorn; Archi Mitra; Archie Sravankumar; Artem Korenev; Arun Rao; Ashley Gabriel; Ashwin Bharambe; Assaf Eisenman; Aston Zhang; Aurelien Rodriguez; Austen Gregerson; Ava Spataru; Baptiste Roziere; Ben Maurer; Benjamin Leonhardi; Bernie Huang; Bhargavi Paranjape; Bing Liu; Binh Tang; Bobbie Chern; Brani Stojkovic; Brian Fuller; Catalina Mejia Arenas; Chao Zhou; Charlotte Caucheteux; Chaya Nayak; Ching-Hsiang Chu; Chloe Bi; Chris Cai; Chris Cox; Chris Marra; Chris McConnell; Christian Keller; Christoph Feichtenhofer; Christophe Touret; Chunyang Wu; Corinne Wong; Cristian Canton Ferrer; Damien Allonsius; Daniel Kreymer; Daniel Haziza; Daniel Li; Danielle Pintz; Danny Livshits; Danny Wyatt; David Adkins; David Esiobu; David Xu; Davide Testuggine; Delia David; Devi Parikh; Dhruv Choudhary; Dhruv Mahajan; Diana Liskovich; Diego Garcia-Olano; Diego Perino; Dieuwke Hupkes; Dingkang Wang; Dustin Holland; Egor Lakomkin; Elina Lobanova; Xiaoqing Ellen Tan; Emily Dinan; Eric Smith; Erik Brinkman; Esteban Arcaute; Filip Radenovic; Firat Ozgenel; Francesco Caggioni; Frank Seide; Frank Zhang; Gabriel Synnaeve; Gabriella Schwarz; Gabrielle Lee; Gada Badeer; Georgia Anderson; Graeme Nail; Gregoire Mialon; Guan Pang; Guillem Cucurell; Hailey Nguyen; Hannah Korevaar; Hannah Wang; Haroun Habeeb; Harrison Rudolph; Henry Aspegren; Hu Xu; Hugo Touvron; Iga Kozlowska; Igor Molybog; Igor Tufanov; Iliyan Zarov; Imanol Arrieta Ibarra; Irina-Elena Veliche; Isabel Kloumann; Ishan Misra; Ivan Evtimov; Jacob Xu; Jade Copet; Jake Weissman; Jan Geffert; Jana Vranes; Japhet Asher; Jason Park; Jay Mahadeokar; Jean-Baptiste Gaya; Jeet Shah; Jelmer van der Linde; Jennifer Chan; Jenny Hong; Jenya Lee; Jeremy Fu; Jeremy Teboul; Jianfeng Chi; Jianyu Huang; Jie Wang; Jiecao Yu; Joanna Bitton; Joe Spisak; Joelle Pineau; Jon Carvill; Jongsoo Park; Joseph Rocca; Joshua Johnstun; Junteng Jia; Kalyan Vasuden Alwala; Kam Hou U; Kate Plawiak; Kartikeya Upasani; Kaushik Veeraraghavan; Ke Li; Kenneth Heafield; Kevin Stone; Khalid El-Arini; Krithika Iyer; Kshitiz Malik; Kuenley Chiu; Kunal Bhalla; Kyle Huang; Lakshya Garg; Lauren Rantala-Yeary; Laurens van der Maaten; Lawrence Chen; Leandro Silva; Lee Bell; Lei Zhang; Liang Tan; Louis Martin; Lovish Madaan; Luca Wehrstedt; Lukas Blecher; Luke de Oliveira; Madeline Muzzi; Madian Khabsa; Manav Avlani; Mannat Singh; Manohar Paluri; Mark Zuckerberg; Marcin Kardas; Martynas Mankus; Mathew Oldham; Mathieu Rita; Matthew Lennie; Maya Pavlova; Meghan Keneally; Melanie Kambadur; Mihir Patel; Mikayel Samvelyan; Mike Clark; Mike Lewis; Min Si; Mitesh Kumar Singh; Mo Metanat; Mona Hassan; Naman Goyal; Narjes Torabi; Nicolas Usunier; Nikolay Bashlykov; Nikolay Bogoychev; Niladri Chatterji; Ning Dong; Oliver Aobo Yang; Olivier Duchenne; Onur Celebi; Parth Parekh; Patrick Alrassy; Paul Saab; Pavan Balaji; Pedro Rittner; Pengchuan Zhang; Pengwei Li; Petar Vasic; Peter Weng; Polina Zvyagina; Prajjwal Bhargava; Pratik Dubal; Praveen Krishnan; Punit Singh Koura; Qing He; Rachel Rodriguez; Ragavan Srinivasan; Rahul Mitra; Ramon Calderer; Raymond Li; Robert Stojnic; Roberta Raileanu; Robin Battey; Rocky Wang; Rohit Girdhar; Rohit Patel; Romain Sauvestre; Ronnie Polidoro; Roshan Sumbaly; Ross Taylor; Ruan Silva; Rui Hou; Rui Wang; Russ Howes; Ruty Rinott; Saghar Hosseini; Sai Jayesh Bondu; Samyak Datta; Sanjay Singh; Sara Chugh; Sargun Dhillon; Satadru Pan; Sean Bell; Sergey Edunov; Shaoliang Nie; Sharan Narang; Sharath Raparthy; Shaun Lindsay; Sheng Feng; Sheng Shen; Shenghao Lin; Shiva Shankar; Shruti Bhosale; Shun Zhang; Simon Vandenhende; Sinong Wang; Seohyun Sonia Kim; Soumya Batra; Sten Sootla; Steve Kehoe; Suchin Gururangan; Sumit Gupta; Sunny Virk; Sydney Borodinsky; Tamar Glaser; Tamar Herman; Tamara Best; Tara Fowler; Thomas Georgiou; Thomas Scialom; Tianhe Li; Todor Mihaylov; Tong Xiao; Ujjwal Karn; Vedanuj Goswami; Vibhor Gupta; Vignesh Ramanathan; Viktor Kerkez; Vinay Satish Kumar; Vincent Gonguet; Vish Vogeti; Vlad Poenaru; Vlad Tiberiu Mihailescu; Vladan Petrovic; Vladimir Ivanov; Wei Li; Weiwei Chu; Wenhan Xiong; Wenyin Fu; Wes Bouaziz; Whitney Meers; Will Constable; Xavier Martinet; Xiaojian Wu; Xinbo Gao; Xinfeng Xie; Xuchao Jia; Yaelle Goldschlag; Yann LeCun; Yashesh Gaur; Yasmine Babaei; Ye Qi; Yenda Li; Yi Wen; Yiwen Song; Youngjin Nam; Yuchen Hao; Yuchen Zhang; Yun Wang; Yuning Mao; Yuzi He; Zacharie Delpierre Coudert; Zachary DeVito; Zahra Hankir; Zhaoduo Wen; Zheng Yan; Zhengxing Chen; Zhenyu Yang; Zoe Papakipos