Leo Mistral Hessianai 7b

🚀 LAION LeoLM：語言增強的開放語言模型

LAION LeoLM是首個基於Mistral 7b構建的、開放且可用於商業用途的德語基礎語言模型——LeoLM - Mistral。該模型通過在大量德語語料庫和特定區域文本上進行持續預訓練，將Llama - 2的能力拓展到了德語領域。得益於黑森州人工智能中心（HessianAI）新超級計算機“42”的計算資源支持，我們發佈了三個上下文長度為8k的基礎模型。這些模型的發佈有望為德語開源和商業大語言模型研究帶來新機遇，並加速其應用落地。更多詳情可閱讀我們的博客文章或即將發佈的預印本論文。

本項目由Björn Plüster和Christoph Schuhmann與LAION和HessianAI合作完成。

✨ 主要特性

• 基於Mistral 7b構建，是首個開放且可商用的德語基礎語言模型。
• 通過在大量德語語料上持續預訓練，拓展了Llama - 2在德語方面的能力。
• 發佈了三個上下文長度為8k的基礎模型。

📦 安裝指南

安裝直接依賴

pip install transformers torch accelerate

若要使用flash - attention2進行更快推理，需安裝以下依賴

pip install packaging ninja
pip install flash-attn

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-mistral-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # 可選
)

📚 詳細文檔

模型詳情

訓練參數

在Mistral訓練過程中，我們將學習率從1e - 5調整至1e - 6，並使用了Zero stage 3和bfloat16數據類型。

基準測試