Leo Hessianai 13b

🚀 LAION LeoLM：語言增強型開放語言模型

LAION LeoLM 是首個基於 Llama - 2 構建的、開放且可用於商業用途的德語基礎語言模型。該模型通過在大量德語語料庫以及特定地區文本上進行持續預訓練，將 Llama - 2 的能力拓展到了德語領域。得益於黑森州人工智能中心（HessianAI）新超級計算機“42”的計算資源支持，我們發佈了兩個上下文長度為 8k 的基礎模型：[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) 和 [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b)，它們均遵循 [Llama - 2 社區許可協議](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)（70b 模型也即將推出！👀）。我們期望此次發佈能為德語開源和商業大語言模型研究帶來新機遇，並加速其應用落地。如需瞭解更多詳情，請閱讀我們的博客文章或論文（預印本即將發佈）。

本項目由 Björn Plüster 和 Christoph Schuhmann 與 LAION 及黑森州人工智能中心（HessianAI）合作完成。

🚀 快速開始

在 🤗Transformers 中使用

首先安裝直接依賴項：

pip install transformers torch sentencepiece

如果您想使用 flash - attention2 進行更快的推理，需要安裝以下依賴項：

pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

然後在 transformers 中加載模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-13b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # True for flash-attn2 else False
)

✨ 主要特性

• 基於 Llama - 2 進行微調，拓展了德語處理能力。
• 發佈兩個 8k 上下文長度的基礎模型，為德語研究和應用提供更多選擇。
• 遵循 Llama - 2 社區許可協議，可用於開源和商業用途。

📚 詳細文檔

模型詳情

訓練參數

基準測試