Wizardlm 2 7B Abliterated GGUF

🚀 WizardLM-2-7B-abliterated-GGUF

這是 fearlessdots/WizardLM-2-7B-abliterated 的量化版本，使用 llama.cpp 創建。

📚 詳細文檔

模型描述

這是 WizardLM-2-7B 模型，具有正交化的 bfloat16 safetensor 權重，基於 @failspy 的實現。更多信息如下：

• 展示該方法的原始論文預覽：https://www.alignmentforum.org/posts/jGuXSZgv6qfdhMCuJ/refusal-in-llms-is-mediated-by-a-single-direction
• 由 @failspy 提供的包含該方法實現的 Jupyter 筆記本：https://huggingface.co/failspy/llama-3-70B-Instruct-abliterated/blob/main/ortho_cookbook.ipynb

提示模板

此模型使用 Vicuna 的提示格式，支持 多輪 對話。

原始模型卡片

🏠 WizardLM-2 發佈博客 🤗 HF 倉庫 •🐱 Github 倉庫 • 🐦 Twitter • 📃 WizardLM • 📃 WizardCoder • 📃 WizardMath
👋 加入我們的 Discord

新聞 🔥🔥🔥 [2024/04/15]

我們推出並開源了下一代最先進的大語言模型 WizardLM-2，它在複雜聊天、多語言、推理和智能體方面有更好的性能。新系列包括三個前沿模型：WizardLM-2 8x22B、WizardLM-2 70B 和 WizardLM-2 7B。

• WizardLM-2 8x22B 是我們最先進的模型，與最先進的專有模型相比，表現出極具競爭力的性能，並且始終優於所有現有的最先進的開源模型。
• WizardLM-2 70B 達到了頂級推理能力，是同規模模型中的首選。
• WizardLM-2 7B 是最快的，並且與現有大 10 倍的開源領先模型相比，表現相當。

更多關於 WizardLM-2 的詳細信息，請閱讀我們的 發佈博客文章 和即將發佈的論文。

模型詳情

模型能力

• MT-Bench 我們還採用了 lmsys 提出的基於 GPT - 4 的自動 MT - Bench 評估框架來評估模型的性能。WizardLM-2 8x22B 與最先進的專有模型相比，表現出極具競爭力的性能。同時，WizardLM-2 7B 和 WizardLM-2 70B 在 7B 到 70B 模型規模的其他領先基線模型中都是表現最好的模型。

• 人工偏好評估 我們精心收集了一組複雜且具有挑戰性的真實世界指令集，其中包括人類的主要需求，如寫作、編碼、數學、推理、智能體和多語言。我們報告了無平局的勝負率：

  • WizardLM-2 8x22B 僅略落後於 GPT - 4 - 1106 - preview，並且明顯強於 Command R Plus 和 GPT4 - 0314。
  • WizardLM-2 70B 優於 GPT4 - 0613、Mistral - Large 和 Qwen1.5 - 72B - Chat。
  • WizardLM-2 7B 與 Qwen1.5 - 32B - Chat 相當，並且超過了 Qwen1.5 - 14B - Chat 和 Starling - LM - 7B - beta。

方法概述

我們構建了一個 完全由人工智能驅動的合成訓練系統 來訓練 WizardLM-2 模型，有關該系統的更多詳細信息，請參考我們的 博客。

使用說明

⚠️ 重要提示

WizardLM-2 採用 Vicuna 的提示格式，支持 多輪 對話。提示格式應如下：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, 
detailed, and polite answers to the user's questions. USER: Hi ASSISTANT: Hello.</s>
USER: Who are you? ASSISTANT: I am WizardLM.</s>......

我們在 github 上提供了一個 WizardLM-2 推理演示 代碼。

📄 許可證

本項目採用 Apache 2.0 許可證。