Meta Llama 3 8B Instruct GPTQ

🚀 Meta-Llama-3-8B-Instruct模型

Meta-Llama-3-8B-Instruct是Meta開發的大語言模型，有8B和70B參數兩種版本。該模型經過優化，適用於對話場景，在常見行業基準測試中表現出色，同時兼顧了實用性和安全性。

🚀 快速開始

本倉庫包含Meta-Llama-3-8B-Instruct的兩個版本，可分別與transformers庫和原始llama3代碼庫配合使用。

💻 使用示例

基礎用法

使用transformers庫的示例代碼如下：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
		messages, 
		tokenize=False, 
		add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

高級用法

使用原始llama3代碼庫時，請遵循倉庫中的說明。 下載原始檢查點的示例命令如下：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir Meta-Llama-3-8B-Instruct

對於Hugging Face支持，建議使用transformers或TGI，但類似的命令也適用。

✨ 主要特性

• 多版本選擇：Llama 3有8B和70B參數兩種版本，可滿足不同場景需求。
• 優化對話體驗：經過指令調整的模型針對對話場景進行了優化，在常見行業基準測試中表現優於許多開源聊天模型。
• 注重安全與實用：在開發過程中，充分考慮了實用性和安全性。

📦 安裝指南

本倉庫提供了與transformers庫和原始llama3代碼庫配合使用的版本，具體使用方法見“使用示例”部分。

📚 詳細文檔

模型詳情

預期用途

• 預期用例：Llama 3適用於英語商業和研究用途。指令調整模型適用於類似助手的聊天場景，預訓練模型可用於各種自然語言生成任務。
• 超出範圍：禁止以任何違反適用法律法規（包括貿易合規法律）的方式使用。禁止以違反可接受使用政策和Llama 3社區許可證的方式使用。禁止在英語以外的語言中使用。

硬件和軟件

預訓練使用了H100 - 80GB類型的硬件，累計計算770萬GPU小時（TDP為700W）。估計總排放量為2290 tCO2eq，全部由Meta的可持續發展計劃抵消。

訓練數據

• 概述：Llama 3在超過15萬億個公開可用的標記數據上進行預訓練。微調數據包括公開可用的指令數據集以及超過1000萬個手動標註的示例。預訓練和微調數據集均不包含Meta用戶數據。
• 數據時效性：7B模型的預訓練數據截止到2023年3月，70B模型截止到2023年12月。

基準測試

本節報告了Llama 3模型在標準自動基準測試中的結果。

🔧 技術細節

• 訓練因素：使用自定義訓練庫、Meta的研究超級集群和生產集群進行預訓練。微調、標註和評估也在第三方雲計算上進行。
• 碳排放：預訓練過程中，使用H100 - 80GB類型的硬件，累計計算770萬GPU小時（TDP為700W）。估計總排放量為2290 tCO2eq，全部由Meta的可持續發展計劃抵消。

📄 許可證

模型使用自定義商業許可證，詳情見：https://llama.meta.com/llama3/license。

META LLAMA 3社區許可協議

1. 許可權利和再分發

• 權利授予：您被授予在Llama材料中體現的Meta知識產權或其他Meta擁有的權利下，非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創建衍生作品並對Llama材料進行修改。
• 再分發和使用：
  • 如果您分發或提供Llama材料（或其任何衍生作品），或使用它們的產品或服務（包括其他AI模型），您應：
    • 隨任何此類Llama材料提供本協議的副本。
    • 在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示“Built with Meta Llama 3”。如果您使用Llama材料創建、訓練、微調或以其他方式改進AI模型並進行分發或提供，您還應在任何此類AI模型名稱開頭包含“Llama 3”。
  • 如果您作為集成終端用戶產品的一部分從被許可方接收Llama材料（或其任何衍生作品），則本協議第2條不適用於您。
  • 您必須在分發的所有Llama材料副本中保留以下歸屬聲明，該聲明應包含在作為此類副本一部分分發的“通知”文本文件中：“Meta Llama 3根據Meta Llama 3社區許可證授權，版權所有 © Meta Platforms, Inc. 保留所有權利。”
  • 您對Llama材料的使用必須遵守適用法律法規（包括貿易合規法律和法規），並遵守Llama材料的可接受使用政策（可在https://llama.meta.com/llama3/use-policy 找到），該政策特此通過引用併入本協議。
  • 您不得使用Llama材料或其任何輸出或結果來改進任何其他大語言模型（不包括Meta Llama 3或其衍生作品）。

2. 額外商業條款

如果在Meta Llama 3版本發佈日期，被許可方或其關聯方提供的產品或服務的月活躍用戶在前一個日曆月超過7億，則您必須向Meta請求許可，Meta可自行決定是否授予。在Meta明確授予您此類權利之前，您無權行使本協議下的任何權利。

3. 保修免責聲明

除非適用法律要求，Llama材料及其任何輸出和結果按“原樣”提供，不提供任何形式的保證。Meta明確放棄所有明示和暗示的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的保證。您獨自負責確定使用或再分發Llama材料的適當性，並承擔與使用Llama材料及其任何輸出和結果相關的任何風險。

4. 責任限制

在任何情況下，Meta或其關聯方均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶發性、懲戒性或懲罰性損害承擔責任，無論責任理論是合同、侵權、疏忽、產品責任還是其他。即使Meta或其關聯方已被告知此類損害的可能性。

5. 知識產權

• 本協議未授予商標許可，關於Llama材料，除非在描述和再分發Llama材料的合理和慣常使用中所需，或如本節5(a)所述，Meta和被許可方均不得使用對方或其關聯方擁有或關聯的任何名稱或標記。Meta特此授予您僅為遵守第1.b.i條最後一句而使用“Llama 3”（“標記”）的許可。您將遵守Meta的品牌指南（目前可在https://about.meta.com/brand/resources/meta/company-brand/ 訪問）。因您使用標記而產生的所有商譽將歸Meta所有。
• 鑑於Meta對Llama材料及其衍生作品的所有權，關於您對Llama材料所做的任何衍生作品和修改，在您和Meta之間，您是並將是此類衍生作品和修改的所有者。
• 如果您對Meta或任何實體提起訴訟或其他程序（包括訴訟中的交叉索賠或反訴），聲稱Llama材料或Meta Llama 3的輸出或結果，或其任何部分構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可將自提起此類訴訟或索賠之日起終止。您將賠償並使Meta免受任何第三方因您使用或分發Llama材料而產生或與之相關的任何索賠。

6. 期限和終止

本協議的期限將在您接受本協議或訪問Llama材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta可終止本協議。本協議終止後，您應刪除並停止使用Llama材料。第3、4和7條在本協議終止後仍然有效。

7. 適用法律和管轄權

本協議將受加利福尼亞州法律管轄和解釋，不考慮法律選擇原則，《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Meta Llama 3可接受使用政策

Meta致力於促進其工具和功能（包括Meta Llama 3）的安全和公平使用。如果您訪問或使用Meta Llama 3，即表示您同意本可接受使用政策（“政策”）。本政策的最新版本可在https://llama.meta.com/llama3/use-policy找到。

禁止使用情況

• 違反法律或他人權利：
  • 從事、促進、生成、促成、鼓勵、策劃、煽動或進一步推動非法或違法活動或內容，例如：
    • 暴力或恐怖主義
    • 對兒童的剝削或傷害，包括徵集、創建、獲取或傳播兒童剝削內容或未報告兒童性虐待材料
    • 人口販運、剝削和性暴力
    • 向未成年人非法分發信息或材料，包括淫穢材料，或未對此類信息或材料採用法律要求的年齡限制
    • 性引誘
    • 任何其他犯罪活動
  • 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
  • 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務提供方面的歧視或其他非法或有害行為
  • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
  • 在未獲得適用法律要求的權利和同意的情況下，收集、處理、披露、生成或推斷個人的健康、人口統計或其他敏感個人或私人信息
  • 從事或便利任何侵犯、挪用或以其他方式侵犯任何第三方權利的行為或生成任何內容，包括使用Llama材料的任何產品或服務的輸出或結果
  • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒或做任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的事情
• 從事有死亡或身體傷害風險的活動：
  • 從事、促進、煽動、便利或協助策劃或開展對個人有死亡或身體傷害風險的活動，包括與以下相關的Meta Llama 3使用：
    • 軍事、戰爭、核工業或應用、間諜活動、用於受美國國務院維護的《國際武器貿易條例》（ITAR）管制的材料或活動
    • 槍支和非法武器（包括武器開發）
    • 非法藥物和受管制/受控物質
    • 關鍵基礎設施、運輸技術或重型機械的操作
    • 自我傷害或傷害他人，包括自殺、切割和飲食失調
    • 任何旨在煽動或促進對個人的暴力、虐待或任何身體傷害的內容
• 故意欺騙或誤導他人：
  • 生成、促進或進一步推動欺詐或創建或促進虛假信息
  • 生成、促進或進一步推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
  • 生成、促進或進一步分發垃圾郵件
  • 在未經同意、授權或合法權利的情況下冒充他人
  • 表示使用Meta Llama 3或其輸出是人類生成的
  • 生成或促進虛假的在線互動，包括虛假評論和其他虛假在線互動方式
• 未向最終用戶適當披露已知危險：未能向最終用戶適當披露您的AI系統的任何已知危險。

請通過以下方式報告任何違反本政策、軟件“漏洞”或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama3
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用Meta Llama 3的情況：LlamaUseReport@meta.com

額外信息

您提供的信息將根據Meta隱私政策進行收集、存儲、處理和共享。

注意事項

⚠️ 重要提示

開發者可在遵守Llama 3社區許可證和可接受使用政策的前提下，對Llama 3模型進行英語以外語言的微調。

💡 使用建議

如需提供關於模型的反饋或評論，可參考模型README。如需瞭解更多關於生成參數和在應用中使用Llama 3的技術信息，請訪問這裡。