Leo Hessianai 7B GGUF

🚀 Leo Hessianai 7B - GGUF

本项目提供了 LAION LeoLM的Leo Hessianai 7B 模型的GGUF格式文件，方便用户在不同环境中进行推理。

🚀 快速开始

本仓库包含 LAION LeoLM的Leo Hessianai 7B 的GGUF格式模型文件。

✨ 主要特性

关于GGUF

GGUF是llama.cpp团队在2023年8月21日推出的一种新格式，它取代了GGML，而GGML已不再被llama.cpp支持。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp：GGUF的源项目，提供了命令行界面和服务器选项。
• text-generation-webui：最广泛使用的Web UI，具有许多功能和强大的扩展，支持GPU加速。
• KoboldCpp：功能齐全的Web UI，支持跨所有平台和GPU架构的GPU加速，尤其适合讲故事。
• LM Studio：适用于Windows和macOS（Silicon）的易于使用且功能强大的本地GUI，支持GPU加速。
• LoLLMS Web UI：一个很棒的Web UI，具有许多有趣和独特的功能，包括一个完整的模型库，便于模型选择。
• Faraday.dev：一个有吸引力且易于使用的基于角色的聊天GUI，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• ctransformers：一个支持GPU加速、LangChain和OpenAI兼容AI服务器的Python库。
• llama-cpp-python：一个支持GPU加速、LangChain和OpenAI兼容API服务器的Python库。
• candle：一个Rust机器学习框架，注重性能，包括GPU支持和易用性。

可用仓库

• 用于GPU推理的AWQ模型。
• 用于GPU推理的GPTQ模型，具有多种量化参数选项。
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型。
• LAION LeoLM原始未量化的fp16格式PyTorch模型，用于GPU推理和进一步转换。

提示模板

{prompt}

兼容性

这些量化的GGUFv2文件与2023年8月27日之后的llama.cpp版本兼容，对应提交版本为 d0cee0d。

它们也与许多第三方UI和库兼容，请参阅本README顶部的列表。

量化方法解释

📦 安装指南

如何下载GGUF文件

手动下载者注意：你几乎不需要克隆整个仓库！这里提供了多种不同的量化格式，大多数用户只需要选择并下载单个文件。

以下客户端/库会自动为你下载模型，并提供可用模型列表供你选择：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在 text-generation-webui 中

在“下载模型”下，你可以输入模型仓库地址：TheBloke/leo-hessianai-7B-GGUF，并在其下方输入要下载的特定文件名，例如：leo-hessianai-7b.Q4_K_M.gguf。 然后点击“下载”。

在命令行中，包括一次下载多个文件

我建议使用 huggingface-hub Python库：

pip3 install huggingface-hub

然后你可以使用如下命令将任何单个模型文件高速下载到当前目录：

huggingface-cli download TheBloke/leo-hessianai-7B-GGUF leo-hessianai-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download TheBloke/leo-hessianai-7B-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

pip3 install hf_transfer

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/leo-hessianai-7B-GGUF leo-hessianai-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

💻 使用示例

示例 llama.cpp 命令

确保你使用的是 d0cee0d 或更高版本的llama.cpp。

./main -ngl 32 -m leo-hessianai-7b.Q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "{prompt}"

将 -ngl 32 更改为要卸载到GPU的层数。如果你没有GPU加速，请删除该参数。 将 -c 4096 更改为所需的序列长度。对于扩展序列模型（例如8K、16K、32K），必要的RoPE缩放参数会从GGUF文件中读取，并由llama.cpp自动设置。

如果你想进行聊天式对话，请将 -p <PROMPT> 参数替换为 -i -ins。

有关其他参数及其使用方法，请参考 llama.cpp文档。

如何在 text-generation-webui 中运行

更多说明请参考：text-generation-webui/docs/llama.cpp.md。

如何从Python代码运行

你可以使用 llama-cpp-python 或 ctransformers 库从Python中使用GGUF模型。

如何使用ctransformers在Python代码中加载此模型

首先安装包

根据你的系统运行以下命令之一：

# 无GPU加速的基础ctransformers
pip install ctransformers
# 或使用CUDA GPU加速
pip install ctransformers[cuda]
# 或使用AMD ROCm GPU加速（仅适用于Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或仅适用于macOS系统的Metal GPU加速
CT_METAL=1 pip install ctransformers --no-binary ctransformers

简单的ctransformers示例代码

from ctransformers import AutoModelForCausalLM

# 将gpu_layers设置为要卸载到GPU的层数。如果你的系统没有GPU加速，请将其设置为0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/leo-hessianai-7B-GGUF", model_file="leo-hessianai-7b.Q4_K_M.gguf", model_type="llama", gpu_layers=50)

print(llm("AI is going to"))

如何与LangChain一起使用

以下是使用llama-cpp-python和ctransformers与LangChain的指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

📚 详细文档

提供的文件

注意：上述RAM数字假设没有GPU卸载。如果将层卸载到GPU，这将减少RAM使用，转而使用VRAM。

原始模型卡片：LAION LeoLM的Leo Hessianai 7B

LAION LeoLM：语言增强的开放语言模型

LeoLM是第一个基于Llama-2构建的开放且可商业使用的德语基础语言模型。我们的模型通过在大量德语和特定地区文本语料库上进行持续预训练，将Llama-2的能力扩展到了德语。

由于HessianAI的新超级计算机 42 提供的计算支持，我们发布了两个具有8k上下文长度的基础模型：LeoLM/leo-hessianai-7b 和 LeoLM/leo-hessianai-13b，遵循 Llama-2社区许可证（70b模型也即将推出！）。

通过这次发布，我们希望为德语开源和商业大语言模型研究带来新的机遇，并加速其应用。更多详情请阅读我们的 博客文章 或论文（预印本即将推出）！

该项目由Björn Plüster和Christoph Schuhmann与LAION和HessianAI合作完成。

模型详情

在 Transformers 中使用

首先安装直接依赖项：

pip install transformers torch sentencepiece

如果你想使用flash-attention2进行更快的推理，你需要安装这些依赖项：

pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

然后在transformers中加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 对于flash-attn2为True，否则为False
)

训练参数

基准测试

📄 许可证

本项目模型遵循 LLAMA 2社区许可协议。

其他信息

Discord

如需进一步支持，以及讨论这些模型和人工智能相关内容，请加入我们的 TheBloke AI的Discord服务器。

感谢与贡献方式

感谢 chirper.ai 团队！ 感谢来自 gpus.llm-utils.org 的Clay！

很多人问是否可以贡献。我喜欢提供模型并帮助他人，也希望能有更多时间做这些事情，以及开展新的项目，如微调/训练。

如果你有能力且愿意贡献，我将不胜感激，这将帮助我继续提供更多模型，并开展新的人工智能项目。

捐赠者将在所有人工智能/大语言模型/模型问题和请求上获得优先支持，访问私人Discord房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Aemon Algiz。

Patreon特别提及：Pierre Kircher, Stanislav Ovsiannikov, Michael Levine, Eugene Pentland, Andrey, ϧÄ͵ê ÍπÄ, Randy H, Fred von Graf, Artur Olbinski, Caitlyn Gatomon, terasurfer, Jeff Scroggin, James Bentley, Vadim, Gabriel Puliatti, Harry Royden McLaughlin, Sean Connelly, Dan Guido, Edmond Seymore, Alicia Loh, subjectnull, AzureBlack, Manuel Alberto Morcote, Thomas Belote, Lone Striker, Chris Smitley, Vitor Caleffi, Johann-Peter Hartmann, Clay Pascal, biorpg, Brandon Frisco, sidney chen, transmissions 11, Pedro Madruga, jinyuan sun, Ajan Kanaga, Emad Mostaque, Trenton Dambrowitz, Jonathan Leane, Iucharbius, usrbinkat, vamX, George Stoitzev, Luke Pendergrass, theTransient, Olakabola, Swaroop Kallakuri, Cap'n Zoog, Brandon Phillips, Michael Dempsey, Nikolai Manek, danny, Matthew Berman, Gabriel Tamborski, alfie_i, Raymond Fosdick, Tom X Nguyen, Raven Klaugh, LangChain4j, Magnesian, Illia Dulskyi, David Ziegler, Mano Prime, Luis Javier Navarrete Lozano, Erik Bj√§reholt, ÈòøÊòé, Nathan Dryer, Alex, Rainer Wilmers, zynix, TL, Joseph William Delisle, John Villwock, Nathan LeClaire, Willem Michiel, Joguhyik, GodLy, OG, Alps Aficionado, Jeffrey Morgan, ReadyPlayerEmma, Tiffany J. Kim, Sebastain Graf, Spencer Kim, Michael Davis, webtim, Talal Aujan, knownsqashed, John Detwiler, Imad Khwaja, Deo Leter, Jerry Meng, Elijah Stavena, Rooh Singh, Pieter, SuperWojo, Alexandros Triantafyllidis, Stephen Murray, Ai Maven, ya boyyy, Enrico Ros, Ken Nordquist, Deep Realms, Nicholas, Spiking Neurons AB, Elle, Will Dee, Jack West, RoA, Luke @flexchar, Viktor Bowallius, Derek Yates, Subspace Studios, jjj, Toran Billups, Asp the Wyvern, Fen Risland, Ilya, NimbleBox.ai, Chadd, Nitin Borwankar, Emre, Mandus, Leonard Tan, Kalila, K, Trailburnt, S_X, Cory Kujawski

感谢所有慷慨的赞助者和捐赠者！ 再次感谢a16z的慷慨资助。