Kafkalm 70B German V0.1

🚀 KafkaLM-70B-German-V0.1

KafkaLM 70bは、Llama2 70B Base Modelをベースにした700億パラメータのモデルです。このモデルは、人気の高品質なオープンソースの命令セットを英語からドイツ語に翻訳したものをアンサンブルしてファインチューニングされています。

KafkaLM 70bは、Seedboxのプロジェクトであり、Dennis Dickmannによって訓練されました。

なぜKafka? このモデルは、熟練しているだけでなく、創造的で、言語的に境界を押し広げる傾向があります😊

🚀 クイックスタート

このモデルを使った推論を始めるのは簡単です。

import transformers

model_id = "seedboxai/KafkaLM-70B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token 
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)

print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?"))

✨ 主な機能

KafkaLMシリーズをリリースする目的は、様々なタスクにおいて日常のアプリケーションで簡単に使用できる一連のファインチューニングされた大規模言語モデル（LLM）をドイツのAIコミュニティに貢献することです。

主な目標は、ドイツ語に精通したLLMを提供することで、特に英語だけでは不十分なドイツ語圏のビジネス環境で使用できるようにすることです。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

データセット

私は、以下のseedboxai/multitask_german_examples_32kの4kフィルターバージョンを使用しました。

プロンプト形式

このモデルは、以下のプロンプト形式に従います。

<|system|>
Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen.</s>
<|user|>
Welche Möglichkeiten der energetischen Sanierung habe ich neben Solar und Energiespeicher?</s>
<|assistant|>

📄 ライセンス

このモデルのライセンスは、法的なアドバイスを構成するものではありません。このモデルを使用する第三者の行動について、私たちは責任を負いません。

このモデルは、研究目的のみで使用する必要があります。元のLlama2のライセンスと、このモデルの訓練に使用されたすべてのデータセットの制限が適用されます。