Leo Hessianai 13b

🚀 LAION LeoLM: Linguistically Enhanced Open Language Model

LeoLMは、Llama - 2をベースに構築された、初のオープンで商用利用可能なドイツ語の基礎言語モデルです。当モデルは、大規模なドイツ語コーパスと地域固有のテキストを用いた継続的事前学習により、Llama - 2の機能をドイツ語に拡張しています。 HessianAIの新しいスーパーコンピュータ「42」でのコンピューティング支援により、8kのコンテキスト長で学習された2つの基礎モデル、[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) と [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b) を [Llama - 2コミュニティライセンス](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt) の下でリリースします（70bも間もなく登場予定です！👀）。 このリリースにより、ドイツのオープンソースおよび商用の大規模言語モデル（LLM）研究に新たな機会をもたらし、その普及を加速させることを期待しています。詳細については、ブログ記事 または論文（プレプリントは間もなく公開）をご覧ください。

このプロジェクトは、Björn PlüsterとChristoph SchuhmannがLAIONおよびHessianAIと共同で行っています。

📚 ドキュメント

モデルの詳細

📦 インストール

まず、直接の依存関係をインストールします。

pip install transformers torch sentencepiece

flash-attention2を使用してより高速な推論を行いたい場合は、以下の依存関係をインストールする必要があります。

pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

💻 使用例

基本的な使用法

次に、transformersでモデルをロードします。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-13b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # True for flash-attn2 else False
)

🔧 技術詳細

学習パラメータ

ベンチマーク