Llama 3 KafkaLM 8B V0.1

🚀 Llama-3-KafkaLM-8B-v0.1

KafkaLM 8bは、Llama3 8bモデルで、人気の高品質オープンソース命令セットのエンサンブル（英語からドイツ語に翻訳）でファインチューニングされました。

Llama 3 KafkaLM 8bは、Dennis DickmannによってトレーニングされたSeedboxのプロジェクトです。

なぜKafka? このモデルは熟練していながらも創造的で、言語的に境界を押し広げる傾向があります😊

🚀 クイックスタート

このモデルを使い始めるのは簡単です。

基本的な使用法

import transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "seedboxai/Llama-3-KafkaLM-8B-v0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)

pipeline = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    device="cuda",
)

messages = [
    {"role": "system", "content": "Du bist ein hilfreicher KI-Assistent."},
    {"role": "user", "content": "Wer ist eigentlich dieser Kafka?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=max_new_tokens,
    num_beams=5,
    num_return_sequences=1,
    early_stopping=True,
    eos_token_id=terminators,
    do_sample=True,
    temperature=temperature,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

高度な使用法

<|start_header_id|>system<|end_header_id|>Du bist ein hilfreicher KI-Assistent.<|eot_id|>
<|start_header_id|>user<|end_header_id|>Wer ist eigentlich dieser Kafka?<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>Franz Kafka (1883-1924) war ein tschechisch-österreichischer Schriftsteller,
der als einer der bedeutendsten Autoren des 20. Jahrhunderts gilt. Seine Werke sind geprägt von existenzieller Angst, Isolation, Verwirrung und Absurdität.
Kafka wurde in Prag, Österreich-Ungarn (heute Tschechische Republik), geboren und wuchs in einer jüdischen Familie auf.
Er studierte Rechtswissenschaften und arbeitete als Versicherungsangestellter, bevor er sich dem Schreiben zuwandte.

Kafkas literarisches Werk umfasst Romane, Erzählungen, Briefe und Tagebücher. Zu seinen bekanntesten Werken gehören "Der Prozess" (1925),
"Das Schloss" (1926) und "Die Verwandlung" (1915). Seine Geschichten sind geprägt von surrealen, traumähnlichen Szenarien,
in denen die Charaktere oft in Situationen geraten, die sie nicht verstehen oder kontrollieren können.

Kafkas Werk hat einen tiefgreifenden Einfluss auf die Literatur und Kultur des 20. Jahrhunderts gehabt.
Seine Werke wurden in viele Sprachen übersetzt und inspirierten Autoren wie Albert Camus, Jean-Paul Sartre, Samuel Beckett und Thomas Mann.

Kafka starb 1924 im Alter von 40 Jahren an Tuberkulose. Trotz seines relativ kurzen Lebens hat er einen bleibenden Eindruck auf die Literatur und Kultur hinterlassen.

✨ 主な機能

KafkaLMシリーズをリリースする目的は、日常の様々なタスクに簡単に使用できる一連のファインチューニングされた大規模言語モデル（LLM）をドイツのAIコミュニティに貢献することです。主な目標は、ドイツ語に精通したLLMを提供することで、特に英語だけでは不十分なドイツ語圏のビジネス環境で使用できるようにすることです。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションを省略します。

📚 ドキュメント

データセット

seedboxai/multitask_german_examples_32kの8kフィルター版を使用しました。

推論

このモデルを使い始めるのは簡単です。上記のコード例を参照してください。

🔧 技術詳細

このドキュメントには十分な技術的詳細が記載されていないため、このセクションを省略します。

📄 ライセンス

このモデルのライセンスは法的なアドバイスを構成するものではありません。このモデルを使用する第三者の行動については責任を負いません。このモデルは研究目的でのみ使用する必要があります。元のLlama3ライセンスとこのモデルのトレーニングに使用されたすべてのデータセットの制限が適用されます。