Leo Hessianai 7b

🚀 LAION LeoLM：语言增强型开放语言模型

LAION LeoLM 是首个基于 Llama - 2 构建的、开放且可用于商业用途的德语基础语言模型。该模型通过在大量德语语料库（大多具有地域特色文本）上进行持续预训练，将 Llama - 2 的能力拓展到了德语领域。

得益于黑森州人工智能中心（HessianAI）新超级计算机“42”的计算资源支持，我们发布了两个具有 8k 上下文长度的基础模型：[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) 和 [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b)，它们遵循 [Llama - 2 社区许可协议](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)（70b 版本也即将推出！👀）。我们期望此次发布能为德语开源和商业大语言模型研究带来新机遇，并加速其应用落地。欲了解更多详情，请阅读我们的 博客文章 或论文（预印本即将发布）。

本项目由 Björn Plüster 和 Christoph Schuhmann 与 LAION 和黑森州人工智能中心（HessianAI）合作完成。

📚 详细文档

模型详情

数据集

• oscar - corpus/OSCAR - 2301
• wikipedia
• bjoernp/tagesschau - 2018 - 2023

管道标签

文本生成

📦 安装指南

安装直接依赖

首先安装直接依赖项：

pip install transformers torch sentencepiece

安装加速推理依赖

如果您想使用 flash - attention2 实现更快的推理，需要安装以下依赖项：

pip install packaging ninja
pip install flash - attn==v2.1.1 --no - build - isolation
pip install git+https://github.com/HazyResearch/flash - attention.git@v2.1.1#subdirectory=csrc/rotary

💻 使用示例

基础用法

在 Transformers 中加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo - hessianai - 7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 若使用 flash - attn2 则为 True，否则为 False
)

🔧 技术细节

训练参数

基准测试

📄 许可证

本模型遵循 [LLAMA 2 社区许可协议](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)。