Yi 6B GGUF

🚀 Yi 6B - GGUF

本項目包含了 01-ai的Yi 6B 模型的GGUF格式文件。這些文件由 Massed Compute 提供的硬件進行量化處理。

🚀 快速開始

下載GGUF文件

• 手動下載注意事項：通常不建議克隆整個倉庫，因為倉庫中提供了多種不同的量化格式，大多數用戶只需要選擇並下載單個文件。
• 自動下載工具：以下客戶端/庫會自動為你下載模型，並提供可用模型列表供你選擇：
  • LM Studio
  • LoLLMS Web UI
  • Faraday.dev

在 text-generation-webui 中下載

在“Download Model”下，輸入模型倉庫地址 TheBloke/Yi-6B-GGUF，並在下方指定要下載的文件名，例如 yi-6b.Q4_K_M.gguf，然後點擊“Download”。

命令行下載（可同時下載多個文件）

推薦使用 huggingface-hub Python庫：

pip3 install huggingface-hub

然後可以使用以下命令將單個模型文件高速下載到當前目錄：

huggingface-cli download TheBloke/Yi-6B-GGUF yi-6b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

運行示例

llama.cpp 命令示例

確保使用的是 d0cee0d 或更高版本的 llama.cpp：

./main -ngl 32 -m yi-6b.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

• -ngl 32：將其改為要卸載到GPU的層數。如果沒有GPU加速，請移除該參數。
• -c 2048：將其改為所需的序列長度。對於擴展序列模型（如8K、16K、32K），必要的RoPE縮放參數會從GGUF文件中讀取，並由llama.cpp自動設置。
• 如果想進行聊天式對話，將 -p <PROMPT> 參數替換為 -i -ins。

在 text-generation-webui 中運行

更多說明請參考：text-generation-webui/docs/llama.cpp.md。

從Python代碼運行

可以使用 llama-cpp-python 或 ctransformers 庫從Python中使用GGUF模型。

使用 ctransformers 加載模型

首先根據系統運行以下命令之一安裝包：

# 無GPU加速的基礎ctransformers
pip install ctransformers
# 或使用CUDA GPU加速
pip install ctransformers[cuda]
# 或使用AMD ROCm GPU加速（僅適用於Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用Metal GPU加速（僅適用於macOS系統）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

簡單的 ctransformers 示例代碼：

from ctransformers import AutoModelForCausalLM

# 將gpu_layers設置為要卸載到GPU的層數。如果系統上沒有GPU加速，請將其設置為0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Yi-6B-GGUF", model_file="yi-6b.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("AI is going to"))

與LangChain一起使用

以下是使用 llama-cpp-python 和 ctransformers 與LangChain的指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

✨ 主要特性

• 本倉庫包含 01-ai的Yi 6B 的GGUF格式模型文件。
• 這些文件由 Massed Compute 提供的硬件進行量化處理。
• GGUF是llama.cpp團隊在2023年8月21日引入的新格式，替代了不再受支持的GGML格式。
• 提供多種量化方法和不同比特的模型文件，適用於CPU+GPU推理。
• 與許多第三方UI和庫兼容。

📦 安裝指南

下載 huggingface-hub 庫

pip3 install huggingface-hub

下載模型文件

huggingface-cli download TheBloke/Yi-6B-GGUF yi-6b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用示例

基礎用法

在 llama.cpp 中運行模型：

./main -ngl 32 -m yi-6b.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

高級用法

在Python中使用 ctransformers 庫加載模型：

from ctransformers import AutoModelForCausalLM

# 將gpu_layers設置為要卸載到GPU的層數。如果系統上沒有GPU加速，請將其設置為0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/Yi-6B-GGUF", model_file="yi-6b.Q4_K_M.gguf", model_type="yi", gpu_layers=50)

print(llm("AI is going to"))

📚 詳細文檔

關於GGUF

GGUF是llama.cpp團隊在2023年8月21日引入的新格式，替代了不再受支持的GGML格式。以下是已知支持GGUF的客戶端和庫的不完全列表：

• llama.cpp：GGUF的源項目，提供CLI和服務器選項。
• text-generation-webui：最廣泛使用的Web UI，具有許多功能和強大的擴展，支持GPU加速。
• KoboldCpp：功能齊全的Web UI，支持跨所有平臺和GPU架構的GPU加速，特別適合講故事。
• LM Studio：適用於Windows和macOS（Silicon）的易於使用且功能強大的本地GUI，支持GPU加速。
• LoLLMS Web UI：一個很棒的Web UI，具有許多有趣和獨特的功能，包括一個完整的模型庫，便於模型選擇。
• Faraday.dev：一個有吸引力且易於使用的基於角色的聊天GUI，適用於Windows和macOS（Silicon和Intel），支持GPU加速。
• ctransformers：一個Python庫，支持GPU加速、LangChain和OpenAI兼容的AI服務器。
• llama-cpp-python：一個Python庫，支持GPU加速、LangChain和OpenAI兼容的API服務器。
• candle：一個Rust ML框架，注重性能，包括GPU支持和易用性。

可用倉庫

• 用於GPU推理的AWQ模型
• 具有多個量化參數選項的用於GPU推理的GPTQ模型
• 用於CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• 01-ai的原始未量化fp16 PyTorch格式模型，用於GPU推理和進一步轉換

提示模板

{prompt}

兼容性

這些量化的GGUFv2文件與2023年8月27日之後的llama.cpp兼容，對應提交版本為 d0cee0d。它們也與許多第三方UI和庫兼容，請參閱本README頂部的列表。

量化方法說明

提供的文件

注意：上述RAM數字假設沒有進行GPU卸載。如果將層卸載到GPU，將減少RAM使用並使用VRAM。

🔧 技術細節

模型評估

為了全面評估模型的能力，採用了Llama2中概述的方法。具體來說，包括PIQA、SIQA、HellaSwag、WinoGrande、ARC、OBQA和CSQA來評估常識推理能力。納入SquAD、QuAC和BoolQ來評估閱讀理解能力。CSQA僅使用7-shot設置進行測試，而其他所有測試均以0-shot配置進行。此外，在“Math & Code”類別下引入了GSM8K（8-shot@1）、MATH（4-shot@1）、HumanEval（0-shot@1）和MBPP（3-shot@1）。由於技術限制，未對Falcon-180在QuAC和OBQA上進行測試；分數通過對其餘任務的分數進行平均得出。由於這兩個任務的分數通常低於平均值，因此認為Falcon-180B的性能沒有被低估。

模型性能對比

在對開源模型進行基準測試時，發現我們的管道生成的結果與公開來源（如OpenCompass）報告的結果存在差異。在對這種差異進行更深入的調查後，發現各種模型可能採用不同的提示、後處理策略和採樣技術，這可能導致結果出現顯著差異。我們的提示和後處理策略與原始基準保持一致，在評估過程中採用貪婪解碼，不對生成的內容進行後處理。對於原始作者未報告的分數（包括在不同設置下報告的分數），我們嘗試使用我們的管道獲取結果。

📄 許可證

Yi系列模型完全開放用於學術研究，並可在獲得許可的情況下免費用於商業用途。所有使用必須遵守 模型許可協議2.0。如需申請官方商業許可證，請聯繫 yi@01.ai。

其他信息

Discord

如需進一步支持，以及參與關於這些模型和人工智能的討論，請加入：TheBloke AI的Discord服務器

感謝與貢獻

感謝 chirper.ai 團隊！感謝 gpus.llm-utils.org 的Clay！

有很多人詢問是否可以進行貢獻。很樂意提供模型並幫助他人，也希望能夠花更多時間做這些事情，以及開展新的項目，如微調/訓練。

如果有能力並願意貢獻，將不勝感激，這將有助於繼續提供更多模型，並開展新的人工智能項目。捐贈者將在所有AI/LLM/模型問題和請求上獲得優先支持，訪問私人Discord房間，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon特別提及：Brandon Frisco, LangChain4j, Spiking Neurons AB, transmissions 11, Joseph William Delisle, Nitin Borwankar, Willem Michiel, Michael Dempsey, vamX, Jeffrey Morgan, zynix, jjj, Omer Bin Jawed, Sean Connelly, jinyuan sun, Jeromy Smith, Shadi, Pawan Osman, Chadd, Elijah Stavena, Illia Dulskyi, Sebastain Graf, Stephen Murray, terasurfer, Edmond Seymore, Celu Ramasamy, Mandus, Alex, biorpg, Ajan Kanaga, Clay Pascal, Raven Klaugh, 阿明, K, ya boyyy, usrbinkat, Alicia Loh, John Villwock, ReadyPlayerEmma, Chris Smitley, Cap'n Zoog, fincy, GodLy, S_X, sidney chen, Cory Kujawski, OG, Mano Prime, AzureBlack, Pieter, Kalila, Spencer Kim, Tom X Nguyen, Stanislav Ovsiannikov, Michael Levine, Andrey, Trailburnt, Vadim, Enrico Ros, Talal Aujan, Brandon Phillips, Jack West, Eugene Pentland, Michael Davis, Will Dee, webtim, Jonathan Leane, Alps Aficionado, Rooh Singh, Tiffany J. Kim, theTransient, Luke @flexchar, Elle, Caitlyn Gatomon, Ari Malik, subjectnull, Johann-Peter Hartmann, Trenton Dambrowitz, Imad Khwaja, Asp the Wyvern, Emad Mostaque, Rainer Wilmers, Alexandros Triantafyllidis, Nicholas, Pedro Madruga, SuperWojo, Harry Royden McLaughlin, James Bentley, Olakabola, David Ziegler, Ai Maven, Jeff Scroggin, Nikolai Manek, Deo Leter, Matthew Berman, Fen Risland, Ken Nordquist, Manuel Alberto Morcote, Luke Pendergrass, TL, Fred von Graf, Randy H, Dan Guido, NimbleBox.ai, Vitor Caleffi, Gabriel Tamborski, knownsqashed, Lone Striker, Erik Bjäreholt, John Detwiler, Leonard Tan, Iucharbius

感謝所有慷慨的贊助者和捐贈者！再次感謝a16z的慷慨資助。