Gpt4 X Vicuna 13B GPTQ

🚀 gpt4-x-vicuna-13B-GPTQ

本項目包含 NousResearch的gpt4-x-vicuna-13b 模型的4位GPTQ格式量化模型。它是使用 GPTQ-for-LLaMa 量化為4位的結果。

🚀 快速開始

在文本生成Web界面中輕鬆下載和使用此模型的方法

按照常規方式打開文本生成Web界面。

1. 點擊模型標籤。
2. 在下載自定義模型或LoRA下方，輸入 TheBloke/gpt4-x-vicuna-13B-GPTQ。
3. 點擊下載。
4. 等待直至顯示下載完成。
5. 點擊左上角模型旁邊的刷新圖標。
6. 在模型下拉菜單中：選擇剛剛下載的模型 gpt4-x-vicuna-13B-GPTQ。
7. 如果右下角出現錯誤提示，可忽略 - 這是臨時的。
8. 在右側填寫 GPTQ參數：位數 = 4，分組大小 = 128，模型類型 = Llama。
9. 點擊右上角的保存此模型的設置。
10. 點擊右上角的重新加載模型。
11. 當顯示模型已加載後，點擊文本生成標籤並輸入提示信息！

✨ 主要特性

可用的倉庫

• 用於GPU推理的4位GPTQ模型。
• 用於CPU推理的4位和5位GGML模型。
• 用於未量化和8位GPU推理的float16 HF模型。

📚 詳細文檔

提供的文件

兼容文件 - GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

在 main 分支（默認分支）中，您會找到 GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors。

該文件適用於所有版本的GPTQ-for-LLaMa，具有最大兼容性。它是在不使用 --act-order 參數的情況下創建的。與另一個文件相比，其推理質量可能略低，但保證能在所有版本的GPTQ-for-LLaMa和文本生成Web界面中使用。

• GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors
  • 適用於所有版本的GPTQ-for-LLaMa代碼，包括Triton和CUDA分支。
  • 適用於文本生成Web界面的一鍵安裝程序。
  • 參數：分組大小 = 128g。無激活順序。
  • 創建GPTQ時使用的命令：

CUDA_VISIBLE_DEVICES=0 python3 llama.py GPT4All-13B-snoozy c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors GPT4-x-Vicuna-13B-GPTQ-4bit-128g.compat.act-order.safetensors

原始模型卡片

• 基礎模型使用：https://huggingface.co/eachadea/vicuna-13b-1.1
• 在Teknium的GPTeacher數據集、未發佈的角色扮演v2數據集、GPT-4-LLM數據集和Nous Research指令數據集上進行微調。
• 約180k條指令，均來自GPT-4，且已清除所有OpenAI審查內容（如 “作為一個AI語言模型” 等）。
• 基礎模型仍存在OpenAI審查。不久後，將發佈使用來自 https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltere 的清理後的Vicuna模型的新版本。
• 在8個A100 - 80GB GPU上按照Alpaca深度加速訓練代碼進行了5個週期的訓練。
• Nous Research指令數據集即將發佈。
• GPTeacher、角色扮演v2由 https://huggingface.co/teknium 提供。
• Wizard LM由 https://github.com/nlpxucan 提供。
• Nous Research指令數據集由 https://huggingface.co/karan4d 和 https://huggingface.co/huemin 提供。
• 計算資源由我們的項目贊助商 https://redmond.ai/ 提供。

📄 許可證

本項目使用其他許可證。

Discord

如需進一步支持，以及參與有關這些模型和人工智能的討論，請加入： TheBloke AI的Discord服務器

感謝與貢獻方式

感謝 chirper.ai 團隊！

很多人詢問是否可以進行貢獻。我喜歡提供模型並幫助他人，也希望能有更多時間做這些事情，同時拓展到新的項目，如微調/訓練。

如果您有能力且願意貢獻，我將不勝感激，這將有助於我繼續提供更多模型，並開展新的人工智能項目。

捐贈者將在所有AI/大語言模型/模型相關的問題和請求上獲得優先支持，訪問私人Discord頻道，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon特別提及：Sam, theTransient, Jonathan Leane, Steven Wood, webtim, Johann - Peter Hartmann, Geoffrey Montalvo, Gabriel Tamborski, Willem Michiel, John Villwock, Derek Yates, Mesiah Bishop, Eugene Pentland, Pieter, Chadd, Stephen Murray, Daniel P. Andersen, terasurfer, Brandon Frisco, Thomas Belote, Sid, Nathan LeClaire, Magnesian, Alps Aficionado, Stanislav Ovsiannikov, Alex, Joseph William Delisle, Nikolai Manek, Michael Davis, Junyu Yang, K, J, Spencer Kim, Stefan Sabev, Olusegun Samson, transmissions 11, Michael Levine, Cory Kujawski, Rainer Wilmers, zynix, Kalila, Luke @flexchar, Ajan Kanaga, Mandus, vamX, Ai Maven, Mano Prime, Matthew Berman, subjectnull, Vitor Caleffi, Clay Pascal, biorpg, alfie_i, 阿明, Jeffrey Morgan, ya boyyy, Raymond Fosdick, knownsqashed, Olakabola, Leonard Tan, ReadyPlayerEmma, Enrico Ros, Dave, Talal Aujan, Illia Dulskyi, Sean Connelly, senxiiz, Artur Olbinski, Elle, Raven Klaugh, Fen Risland, Deep Realms, Imad Khwaja, Fred von Graf, Will Dee, usrbinkat, SuperWojo, Alexandros Triantafyllidis, Swaroop Kallakuri, Dan Guido, John Detwiler, Pedro Madruga, Iucharbius, Viktor Bowallius, Asp the Wyvern, Edmond Seymore, Trenton Dambrowitz, Space Cruiser, Spiking Neurons AB, Pyrater, LangChain4j, Tony Hughes, Kacper Wikieł, Rishabh Srivastava, David Ziegler, Luke Pendergrass, Andrey, Gabriel Puliatti, Lone Striker, Sebastain Graf, Pierre Kircher, Randy H, NimbleBox.ai, Vadim, danny, Deo Leter

感謝所有慷慨的贊助者和捐贈者！再次感謝a16z的慷慨資助。