Leo Hessianai 7b

🚀 LAION LeoLM: Linguistically Enhanced Open Language Model

LeoLMは、Llama - 2をベースに構築された、最初のオープンで商用利用可能なドイツ語の基礎言語モデルです。当モデルは、大規模なドイツ語コーパスと地域固有のテキストでの継続的な事前学習により、Llama - 2の機能をドイツ語に拡張しています。 ヘッセンAIの新しいスーパーコンピュータ「42」でのコンピューティング支援により、8kのコンテキスト長で学習された2つの基礎モデル、[LeoLM/leo - hessianai - 7b](https://huggingface.co/LeoLM/leo - hessianai - 7b) と [LeoLM/leo - hessianai - 13b](https://huggingface.co/LeoLM/leo - hessianai - 13b) を [Llama - 2コミュニティライセンス](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt) の下でリリースします（70bも近日公開予定！👀）。 今回のリリースにより、ドイツのオープンソースおよび商用の大規模言語モデル（LLM）研究に新たな機会をもたらし、その普及を加速させることを期待しています。詳細については、ブログ記事 または論文（プレプリントは近日公開）をご覧ください。

このプロジェクトは、Björn PlüsterとChristoph SchuhmannがLAIONおよびヘッセンAIと協力して行っています。

🚀 クイックスタート

モデルの詳細

• 微調整元: [meta - llama/Llama - 2 - 7b - hf](https://huggingface.co/meta - llama/Llama - 2 - 7b - hf)
• モデルタイプ: 因果的なデコーダーのみのトランスフォーマー言語モデル
• 言語: 英語とドイツ語
• ライセンス: [LLAMA 2 COMMUNITY LICENSE AGREEMENT](https://huggingface.co/meta - llama/Llama - 2 - 70b/raw/main/LICENSE.txt)
• お問い合わせ先: LAION Discord または Björn Plüster

🤗Transformersでの使用方法

まず、直接的な依存関係をインストールします。

pip install transformers torch sentencepiece

flash - attention2を使用してより高速な推論を行いたい場合は、以下の依存関係をインストールする必要があります。

pip install packaging ninja
pip install flash - attn==v2.1.1 --no - build - isolation
pip install git+https://github.com/HazyResearch/flash - attention.git@v2.1.1#subdirectory=csrc/rotary

次に、Transformersでモデルを読み込みます。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo - hessianai - 7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # True for flash - attn2 else False
)

学習パラメータ

ベンチマーク

データセット