Leo Hessianai 7b

🚀 LAION LeoLM：語言增強型開放語言模型

LAION LeoLM 是首個基於 Llama - 2 構建的、開放且可用於商業用途的德語基礎語言模型。該模型通過在大量德語語料庫（大多具有地域特色文本）上進行持續預訓練，將 Llama - 2 的能力拓展到了德語領域。

得益於黑森州人工智能中心（HessianAI）新超級計算機“42”的計算資源支持，我們發佈了兩個具有 8k 上下文長度的基礎模型：[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) 和 [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b)，它們遵循 [Llama - 2 社區許可協議](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)（70b 版本也即將推出！👀）。我們期望此次發佈能為德語開源和商業大語言模型研究帶來新機遇，並加速其應用落地。欲瞭解更多詳情，請閱讀我們的 博客文章 或論文（預印本即將發佈）。

本項目由 Björn Plüster 和 Christoph Schuhmann 與 LAION 和黑森州人工智能中心（HessianAI）合作完成。

📚 詳細文檔

模型詳情

數據集

• oscar - corpus/OSCAR - 2301
• wikipedia
• bjoernp/tagesschau - 2018 - 2023

管道標籤

文本生成

📦 安裝指南

安裝直接依賴

首先安裝直接依賴項：

pip install transformers torch sentencepiece

安裝加速推理依賴

如果您想使用 flash - attention2 實現更快的推理，需要安裝以下依賴項：

pip install packaging ninja
pip install flash - attn==v2.1.1 --no - build - isolation
pip install git+https://github.com/HazyResearch/flash - attention.git@v2.1.1#subdirectory=csrc/rotary

💻 使用示例

基礎用法

在 Transformers 中加載模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo - hessianai - 7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 若使用 flash - attn2 則為 True，否則為 False
)

🔧 技術細節

訓練參數

基準測試

📄 許可證

本模型遵循 [LLAMA 2 社區許可協議](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)。