Llama 3.3 70B Instruct Abliterated Finetuned GPTQ Int8

🚀 huihui-ai/Llama-3.3-70B-Instruct-abliterated-finetuned-GPTQ-Int8

這是 huihui-ai/Llama-3.3-70B-Instruct-abliterated-finetuned 的GPTQ量化8位版本。

這只是GPTQ的量化測試，僅使用了一個數據集："gptqmodel is an easy-to-use model quantization library with user-friendly apis, based on GPTQ algorithm."。 如果您需要使用自己的數據集，請聯繫我們：support@huihui.ai

🚀 快速開始

如何使用

本倉庫包含兩個版本的Llama-3.3-70B-Instruct，可與 transformers 庫和原始的 llama 代碼庫配合使用。

使用 transformers 庫

從 transformers >= 4.43.0 版本開始，您可以使用Transformers的 pipeline 抽象方法，或利用 Auto 類和 generate() 函數進行對話推理。

請確保通過 pip install --upgrade transformers 命令更新您的 transformers 庫。

以下是使用Transformers的代碼示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加載模型和分詞器
model_name = "huihui-ai/Llama-3.3-70B-Instruct-abliterated-finetuned-GPTQ-Int8"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

# 初始化對話上下文
initial_messages = [
    {"role": "system", "content": "You are a helpful assistant."}
]
messages = initial_messages.copy()  # 複製初始對話上下文

# 進入對話循環
while True:
    # 獲取用戶輸入
    user_input = input("User: ").strip()  # 去除首尾空格

    # 如果用戶輸入 '/exit'，結束對話
    if user_input.lower() == "/exit":
        print("Exiting chat.")
        break

    # 如果用戶輸入 '/clean'，重置對話上下文
    if user_input.lower() == "/clean":
        messages = initial_messages.copy()  # 重置對話上下文
        print("Chat history cleared. Starting a new conversation.")
        continue

    # 如果輸入為空，提示用戶並繼續
    if not user_input:
        print("Input cannot be empty. Please enter something.")
        continue

    # 將用戶輸入添加到對話中
    messages.append({"role": "user", "content": user_input})

    # 構建聊天模板
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )

    # 對輸入進行分詞併為模型準備數據
    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

    # 從模型生成響應
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=8192,
        pad_token_id=tokenizer.pad_token_id
    )

    # 提取模型輸出，去除特殊標記
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

    # 將模型的響應添加到對話中
    messages.append({"role": "assistant", "content": response})

    # 打印模型的響應
    print(f"Response: {response}")

模型信息

額外授權提示

LLAMA 3.3 社區許可協議

Llama 3.3 版本發佈日期：2024 年 12 月 6 日

“協議” 指本協議中規定的使用、複製、分發和修改 Llama 材料的條款和條件。

“文檔” 指 Meta 在 https://www.llama.com/docs/overview 上分發的與 Llama 3.3 相關的規範、手冊和文檔。

“被許可方” 或 “您” 指您本人，或您的僱主，或任何其他個人或實體（如果您代表此類個人或實體簽訂本協議），且該個人或實體已達到適用法律、規則或法規要求的提供合法同意的年齡，並且如果您代表其簽訂本協議，該個人或實體具有約束您的僱主或其他個人或實體的合法權力。

“Llama 3.3” 指基礎大語言模型、軟件和算法，包括機器學習模型代碼、訓練好的模型權重、推理啟用代碼、訓練啟用代碼、微調啟用代碼以及 Meta 在 https://www.llama.com/llama-downloads 上分發的上述內容的其他元素。

“Llama 材料” 指 Meta 根據本協議提供的專有 Llama 3.3 和文檔（及其任何部分）的統稱。

“Meta” 或 “我們” 指 Meta Platforms Ireland Limited（如果您位於歐洲經濟區或瑞士，或者如果您是一個實體，您的主要營業地位於歐洲經濟區或瑞士）和 Meta Platforms, Inc.（如果您位於歐洲經濟區或瑞士以外）。

通過點擊下方的 “我接受”，或使用或分發 Llama 材料的任何部分或元素，即表示您同意受本協議約束。

1. 許可權利和再分發
   • 權利授予：您被授予在 Meta 體現在 Llama 材料中的知識產權或其他權利下的非排他性、全球性、不可轉讓且免版稅的有限許可，以使用、複製、分發、拷貝、創作衍生作品並對 Llama 材料進行修改。
   • 再分發和使用
     • 如果您分發或提供 Llama 材料（或其任何衍生作品），或包含其中任何內容的產品或服務（包括另一個 AI 模型），您應 (A) 隨任何此類 Llama 材料提供本協議的副本；並且 (B) 在相關網站、用戶界面、博客文章、關於頁面或產品文檔上顯著顯示 “Built with Llama”。如果您使用 Llama 材料或 Llama 材料的任何輸出或結果來創建、訓練、微調或以其他方式改進一個 AI 模型，並將其分發或提供給他人，您還應在任何此類 AI 模型名稱的開頭包含 “Llama”。
     • 如果您作為集成最終用戶產品的一部分從被許可方處接收 Llama 材料或其任何衍生作品，則本協議第 2 條不適用於您。
     • 您必須在分發的所有 Llama 材料副本中保留以下歸屬聲明，該聲明應包含在作為此類副本一部分分發的 “Notice” 文本文件中：“Llama 3.3 已根據 Llama 3.3 社區許可獲得許可，版權所有 © Meta Platforms, Inc. 保留所有權利。”
     • 您對 Llama 材料的使用必須遵守適用的法律法規（包括貿易合規法律法規），並遵守 Llama 材料的可接受使用政策（可在 https://www.llama.com/llama3_3/use-policy 上獲取），該政策特此通過引用併入本協議。
2. 額外商業條款：如果在 Llama 3.3 版本發佈日期，被許可方或被許可方關聯方提供的產品或服務的月活躍用戶在前一個日曆月超過 7 億月活躍用戶，您必須向 Meta 請求許可，Meta 可自行決定是否授予您許可，並且在 Meta 明確授予您此類權利之前，您無權行使本協議下的任何權利。
3. 保修免責聲明：除非適用法律要求，否則 Llama 材料及其任何輸出和結果均按 “現狀” 提供，不提供任何形式的保證，Meta 明確排除所有明示和暗示的保證，包括但不限於所有權、不侵權、適銷性或特定用途適用性的任何保證。您獨自負責確定使用或再分發 Llama 材料的適當性，並承擔與您使用 Llama 材料及其任何輸出和結果相關的任何風險。
4. 責任限制：在任何情況下，Meta 或其關聯方均不對因本協議引起的任何利潤損失或任何間接、特殊、後果性、偶然性、懲戒性或懲罰性損害承擔責任，無論責任理論如何，包括合同、侵權、疏忽、產品責任或其他，即使 Meta 或其關聯方已被告知任何此類損害的可能性。
5. 知識產權
   • 本協議未授予任何商標許可，並且與 Llama 材料相關，除非在描述和再分發 Llama 材料時進行合理和慣常使用所需，或如本節 5(a) 所述，Meta 和被許可方均不得使用對方或其任何關聯方擁有或關聯的任何名稱或標記。Meta 特此授予您僅為遵守第 1.b.i 條最後一句的要求而使用 “Llama”（“標記”）的許可。您將遵守 Meta 的品牌指南（目前可在 https://about.meta.com/brand/resources/meta/company-brand/ 訪問）。您使用該標記所產生的所有商譽將歸 Meta 所有。
   • 鑑於 Meta 對 Llama 材料及其為 Meta 製作的衍生作品的所有權，就您製作的 Llama 材料的任何衍生作品和修改而言，在您和 Meta 之間，您是且將是此類衍生作品和修改的所有者。
   • 如果您對 Meta 或任何實體提起訴訟或其他法律程序（包括在訴訟中的交叉索賠或反訴），聲稱 Llama 材料或 Llama 3.3 的輸出或結果，或上述任何內容的任何部分，構成侵犯您擁有或可許可的知識產權或其他權利，則本協議授予您的任何許可應自此類訴訟或索賠提起之日起終止。您將賠償並使 Meta 免受因您使用或分發 Llama 材料而引起的或與之相關的任何第三方索賠。
6. 期限和終止：本協議的期限將自您接受本協議或訪問 Llama 材料時開始，並將持續有效，直至根據本協議的條款和條件終止。如果您違反本協議的任何條款或條件，Meta 可終止本協議。本協議終止後，您應刪除並停止使用 Llama 材料。第 3、4 和 7 條在本協議終止後仍然有效。
7. 適用法律和管轄權：本協議將受加利福尼亞州法律管轄並依其解釋，不考慮法律選擇原則，並且《聯合國國際貨物銷售合同公約》不適用於本協議。加利福尼亞州的法院對因本協議引起的任何爭議具有專屬管轄權。

Llama 3.3 可接受使用政策

Meta 致力於促進其工具和功能（包括 Llama 3.3）的安全和公平使用。如果您訪問或使用 Llama 3.3，即表示您同意本可接受使用政策（“政策”）。本政策的最新版本可在 https://www.llama.com/llama3_3/use-policy 上找到。

禁止使用情況 我們希望每個人都能安全、負責地使用 Llama 3.3。您同意您不會使用或允許他人使用 Llama 3.3 來：

1. 違反法律或他人權利，包括：
   • 從事、促進、生成、促成、鼓勵、策劃、煽動或推動非法或違法活動或內容，例如：
     • 暴力或恐怖主義
     • 對兒童的剝削或傷害，包括招攬、創建、獲取或傳播兒童剝削內容，或未能報告兒童性虐待材料
     • 人口販運、剝削和性暴力
     • 向未成年人非法分發信息或材料，包括淫穢材料，或未能對此類信息或材料採用法律要求的年齡限制
     • 性招攬
     • 任何其他犯罪活動
   • 從事、促進、煽動或便利對個人或群體的騷擾、虐待、威脅或欺凌
   • 從事、促進、煽動或便利在就業、就業福利、信貸、住房、其他經濟福利或其他基本商品和服務的提供方面的歧視或其他非法或有害行為
   • 從事未經授權或無執照的任何專業實踐，包括但不限於金融、法律、醫療/健康或相關專業實踐
   • 收集、處理、披露、生成或推斷個人的私人或敏感信息，包括個人身份、健康或人口統計信息，除非您已根據適用法律獲得這樣做的權利
   • 從事或便利任何侵犯、盜用或以其他方式侵犯任何第三方權利的行為，或生成此類內容，包括使用 Llama 材料的任何產品或服務的輸出或結果
   • 創建、生成或便利創建惡意代碼、惡意軟件、計算機病毒，或做任何可能禁用、使負擔過重、干擾或損害網站或計算機系統的正常運行、完整性、操作或外觀的事情
   • 從事任何故意規避或移除使用限制或其他安全措施的行為，或便利此類行為，或啟用 Meta 禁用的功能
2. 從事、促進、煽動、便利或協助策劃或開展對個人造成死亡或身體傷害風險的活動，包括與以下方面相關的 Llama 3.3 的使用：
   • 軍事、戰爭、核工業或應用、間諜活動，用於受美國國務院維護的《國際武器貿易條例》（ITAR）或 1989 年《美國生物武器反恐法》或 1997 年《化學武器公約實施法》約束的材料或活動
   • 槍支和非法武器（包括武器開發）
   • 非法藥物和受管制/受控物質
   • 關鍵基礎設施、運輸技術或重型機械的操作
   • 自我傷害或傷害他人，包括自殺、自殘和飲食失調
   • 任何旨在煽動或促進暴力、虐待或對個人造成身體傷害的內容
3. 故意欺騙或誤導他人，包括與以下方面相關的 Llama 3.3 的使用：
   • 生成、促進或推動欺詐或創建或促進虛假信息
   • 生成、促進或推動誹謗性內容，包括創建誹謗性聲明、圖像或其他內容
   • 生成、促進或進一步分發垃圾郵件
   • 在未經同意、授權或合法權利的情況下冒充他人
   • 表示 Llama 3.3 的使用或輸出是人類生成的
   • 生成或便利虛假的在線互動，包括虛假評論和其他虛假在線互動方式
4. 未能向最終用戶適當披露您的 AI 系統的任何已知危險
5. 與旨在生成非法內容或從事非法或有害行為的第三方工具、模型或軟件進行交互，並/或表示此類工具、模型或軟件的輸出與 Meta 或 Llama 3.3 相關

對於 Llama 3.3 中包含的任何多模態模型，如果您是居住在歐盟的個人，或主要營業地位於歐盟的公司，則本 Llama 3.3 社區許可協議第 1(a) 條授予的權利不適用於您。此限制不適用於包含任何此類多模態模型的產品或服務的最終用戶。

請通過以下方式之一報告任何違反本政策的行為、軟件 “漏洞” 或其他可能導致違反本政策的問題：

• 報告模型問題：https://github.com/meta-llama/llama-models/issues
• 報告模型生成的風險內容：developers.facebook.com/llama_output_feedback
• 報告漏洞和安全問題：facebook.com/whitehat/info
• 報告違反可接受使用政策或未經授權使用 Llama 3.3 的行為：LlamaUseReport@meta.com

額外授權字段

• 名字：文本輸入
• 姓氏：文本輸入
• 出生日期：日期選擇器
• 國家：國家選擇
• 所屬機構：文本輸入
• 職位：
  • 類型：選擇框
  • 選項：學生、研究生研究員、AI 研究員、AI 開發者/工程師、記者、其他
• 地理位置：IP 定位
• 通過點擊下方的 “提交”，我接受許可條款，並確認我提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享：複選框

額外授權描述

您提供的信息將根據 Meta 隱私政策 進行收集、存儲、處理和共享。

額外授權按鈕內容

提交