Pivot 0.1 Evil A GGUF

🚀 Pivot 0.1 Evil A - GGUF

本項目提供了 Jeonghwan Park 的 Pivot 0.1 Evil A 模型的 GGUF 格式文件。這些文件由 Massed Compute 提供的硬件進行量化處理。

🚀 快速開始

本倉庫包含了 Jeonghwan Park 的 Pivot 0.1 Evil A 模型的 GGUF 格式文件。這些文件是使用 Massed Compute 慷慨提供的硬件進行量化的。

✨ 主要特性

• 多格式支持：提供了多種量化格式的模型文件，包括不同比特數和量化方法，以滿足不同的使用場景和硬件要求。
• 廣泛兼容：與多種客戶端和庫兼容，如 llama.cpp、text-generation-webui、KoboldCpp 等，方便用戶在不同環境中使用。
• 多語言支持：支持英語和韓語，適用於不同語言需求的用戶。

📦 安裝指南

下載 GGUF 文件

自動下載

以下客戶端/庫會自動為你下載模型，並提供可用模型列表供你選擇：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在 text-generation-webui 中下載

在“Download Model”下，輸入模型倉庫地址 TheBloke/PiVoT-0.1-Evil-a-GGUF，並在下方輸入要下載的具體文件名，如 pivot-0.1-evil-a.Q4_K_M.gguf，然後點擊“Download”。

命令行下載

推薦使用 huggingface-hub Python 庫進行下載：

pip3 install huggingface-hub

然後可以使用以下命令將單個模型文件高速下載到當前目錄：

huggingface-cli download TheBloke/PiVoT-0.1-Evil-a-GGUF pivot-0.1-evil-a.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

安裝依賴庫

如果你想從 Python 代碼中使用 GGUF 模型，可以使用 llama-cpp-python 或 ctransformers 庫。以下是安裝 ctransformers 庫的示例命令：

# 無 GPU 加速的基礎 ctransformers
pip install ctransformers
# 或使用 CUDA GPU 加速
pip install ctransformers[cuda]
# 或使用 AMD ROCm GPU 加速（僅適用於 Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用 Metal GPU 加速（僅適用於 macOS 系統）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

💻 使用示例

基礎用法

llama.cpp 命令示例

確保你使用的是 d0cee0d 或更新版本的 llama.cpp：

./main -ngl 32 -m pivot-0.1-evil-a.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "### Instruction:\n{prompt}\n\n### Response:"

• -ngl 32：將其更改為要卸載到 GPU 的層數。如果沒有 GPU 加速，請移除該參數。
• -c 2048：將其更改為所需的序列長度。對於擴展序列模型（如 8K、16K、32K），必要的 RoPE 縮放參數會從 GGUF 文件中讀取並由 llama.cpp 自動設置。
• 如果你想進行聊天式對話，將 -p <PROMPT> 參數替換為 -i -ins。

Python 代碼示例（使用 ctransformers）

from ctransformers import AutoModelForCausalLM

# 將 gpu_layers 設置為要卸載到 GPU 的層數。如果系統上沒有 GPU 加速，請將其設置為 0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/PiVoT-0.1-Evil-a-GGUF", model_file="pivot-0.1-evil-a.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)

print(llm("AI is going to"))

高級用法

與 LangChain 結合使用

以下是使用 llama-cpp-python 和 ctransformers 與 LangChain 的指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

📚 詳細文檔

關於 GGUF

GGUF 是 llama.cpp 團隊在 2023 年 8 月 21 日引入的一種新格式，它取代了不再受 llama.cpp 支持的 GGML 格式。

以下是已知支持 GGUF 的客戶端和庫的不完全列表：

• llama.cpp：GGUF 的源項目，提供 CLI 和服務器選項。
• text-generation-webui：最廣泛使用的 Web UI，具有許多功能和強大的擴展，支持 GPU 加速。
• KoboldCpp：功能齊全的 Web UI，支持跨所有平臺和 GPU 架構的 GPU 加速，特別適合講故事。
• LM Studio：適用於 Windows 和 macOS（Silicon）的易於使用且功能強大的本地 GUI，支持 GPU 加速。
• LoLLMS Web UI：一個很棒的 Web UI，具有許多有趣和獨特的功能，包括一個完整的模型庫，方便用戶選擇模型。
• Faraday.dev：一個有吸引力且易於使用的基於角色的聊天 GUI，適用於 Windows 和 macOS（Silicon 和 Intel），支持 GPU 加速。
• ctransformers：一個 Python 庫，支持 GPU 加速、LangChain 集成和與 OpenAI 兼容的 AI 服務器。
• llama-cpp-python：一個 Python 庫，支持 GPU 加速、LangChain 集成和與 OpenAI 兼容的 API 服務器。
• candle：一個 Rust ML 框架，注重性能，包括 GPU 支持和易用性。

可用倉庫

• 用於 GPU 推理的 AWQ 模型
• 用於 GPU 推理的 GPTQ 模型，具有多種量化參數選項
• 用於 CPU+GPU 推理的 2、3、4、5、6 和 8 位 GGUF 模型
• Jeonghwan Park 原始未量化的 fp16 格式 PyTorch 模型，用於 GPU 推理和進一步轉換

提示模板

### Instruction:
{prompt}

### Response:

兼容性

這些量化的 GGUFv2 文件與 2023 年 8 月 27 日之後的 llama.cpp 兼容，具體為提交 d0cee0d 及以後的版本。

它們還與許多第三方 UI 和庫兼容，請參閱本 README 頂部的列表。

量化方法說明

提供的文件

注意：上述 RAM 數字假設沒有進行 GPU 卸載。如果將層卸載到 GPU，將減少 RAM 使用並使用 VRAM。

🔧 技術細節

PivoT 是基於 Mistral 7B 的微調模型，它是 Synatra v0.3 RP 的變體，表現出了不錯的性能。PiVoT-0.1-Evil-a 是 PiVoT 的“Evil tuned”版本，通過特定方法進行微調。PiVot-0.1-Evil-b 則進行了 Noisy Embedding 微調，結果可能更具多樣性。

在微調過程中使用了 OpenOrca 數據集，以及 Arcalive Ai Chat Chan 日誌 7k、ko_wikidata_QA、kyujinpy/OpenOrca-KO 等數據集。

📄 許可證

本項目採用 cc-by-sa-4.0 許可證。

其他信息

Discord

如需進一步支持，以及參與這些模型和 AI 相關的討論，請加入我們的 Discord 服務器：TheBloke AI's Discord server

感謝與貢獻

感謝 chirper.ai 團隊和 gpus.llm-utils.org 的 Clay！

如果你願意並能夠提供貢獻，將不勝感激，這將幫助我繼續提供更多模型，並開展新的 AI 項目。捐贈者將在所有 AI/LLM/模型問題和請求上獲得優先支持，訪問私人 Discord 房間以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon 特別提及：Brandon Frisco、LangChain4j、Spiking Neurons AB、transmissions 11、Joseph William Delisle、Nitin Borwankar、Willem Michiel、Michael Dempsey、vamX、Jeffrey Morgan、zynix、jjj、Omer Bin Jawed、Sean Connelly、jinyuan sun、Jeromy Smith、Shadi、Pawan Osman、Chadd、Elijah Stavena、Illia Dulskyi、Sebastain Graf、Stephen Murray、terasurfer、Edmond Seymore、Celu Ramasamy、Mandus、Alex、biorpg、Ajan Kanaga、Clay Pascal、Raven Klaugh、ÈòøÊòé、K、ya boyyy、usrbinkat、Alicia Loh、John Villwock、ReadyPlayerEmma、Chris Smitley、Cap'n Zoog、fincy、GodLy、S_X、sidney chen、Cory Kujawski、OG、Mano Prime、AzureBlack、Pieter、Kalila、Spencer Kim、Tom X Nguyen、Stanislav Ovsiannikov、Michael Levine、Andrey、Trailburnt、Vadim、Enrico Ros、Talal Aujan、Brandon Phillips、Jack West、Eugene Pentland、Michael Davis、Will Dee、webtim、Jonathan Leane、Alps Aficionado、Rooh Singh、Tiffany J. Kim、theTransient、Luke @flexchar、Elle、Caitlyn Gatomon、Ari Malik、subjectnull、Johann-Peter Hartmann、Trenton Dambrowitz、Imad Khwaja、Asp the Wyvern、Emad Mostaque、Rainer Wilmers、Alexandros Triantafyllidis、Nicholas、Pedro Madruga、SuperWojo、Harry Royden McLaughlin、James Bentley、Olakabola、David Ziegler、Ai Maven、Jeff Scroggin、Nikolai Manek、Deo Leter、Matthew Berman、Fen Risland、Ken Nordquist、Manuel Alberto Morcote、Luke Pendergrass、TL、Fred von Graf、Randy H、Dan Guido、NimbleBox.ai、Vitor Caleffi、Gabriel Tamborski、knownsqashed、Lone Striker、Erik Bj√§reholt、John Detwiler、Leonard Tan、Iucharbius

感謝所有慷慨的贊助者和捐贈者！再次感謝 a16z 的慷慨資助。