Leo Mistral Hessianai 7b

🚀 LAION LeoLM: Linguistically Enhanced Open Language Model

LAION LeoLMは、Mistral 7bをベースに構築された、最初のオープンで商用利用可能なドイツ語の基礎言語モデルLeoLM - Mistralを提供します。当社のモデルは、大規模なドイツ語コーパスと地域固有のテキストでの継続的な事前学習により、Llama - 2の機能をドイツ語に拡張しています。HessianAIの新しいスーパーコンピュータ「42」でのコンピューティンググラントのおかげで、8kのコンテキスト長で学習された3つの基礎モデルをリリースします。[LeoLM/leo - mistral - hessianai - 7b](https://huggingface.co/LeoLM/leo - mistral - hessianai - 7b) はApache 2.0ライセンスの下で、[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) と [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b) は[Llama - 2コミュニティライセンス](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)の下で提供されます（70bも間もなく登場予定です！👀）。このリリースにより、ドイツのオープンソースおよび商用LLM研究に新たな機会をもたらし、採用を加速させることを期待しています。詳細は、[ブログ記事](https://laion.ai/blog/leo - lm/) または論文（プレプリントは間もなく公開）をご覧ください。

このプロジェクトは、Björn PlüsterとChristoph SchuhmannがLAIONおよびHessianAIと協力して行っています。

✨ 主な機能

LAION LeoLMは、Mistral 7bをベースに構築されたドイツ語の基礎言語モデルです。大規模なドイツ語コーパスでの事前学習により、Llama - 2の機能をドイツ語に拡張しています。また、8kのコンテキスト長で学習された3つの基礎モデルを提供し、ドイツのオープンソースおよび商用LLM研究に新たな機会をもたらします。

📦 インストール

直接依存関係のインストール

まず、直接の依存関係をインストールします。

pip install transformers torch accelerate

flash - attention2を使用してより高速な推論を行う場合

以下の依存関係もインストールする必要があります。

pip install packaging ninja
pip install flash-attn

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-mistral-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # optional
)

🔧 技術詳細

モデル詳細

学習パラメータ

Mistralの学習では、学習率を1e - 5から1e - 6に下げました。また、Zero stage 3とbfloat16データ型を使用しました。

ベンチマーク

📄 ライセンス

このモデルは、Apache 2.0 ライセンスの下で提供されます。