Kafkalm 13B German V0.1

🚀 KafkaLM-13B-German-V0.1

KafkaLM-13B-German-V0.1 是一個基於Llama2 13b的模型，它在來自Björn Plüster和LAION的大型德語數據集上進行了進一步預訓練，還在一系列流行的高質量開源指令集（從英語翻譯成德語）上進行了微調。該模型旨在為德語AI社區貢獻一套易於在日常應用中使用的微調大語言模型，尤其適用於僅使用英語不足夠的德語商業場景。

🚀 快速開始

推理示例

以下是使用該模型進行推理的示例代碼：

import transformers

model_id = "seedboxai/KafkaLM-13B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    #max_length=8192,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)


print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?")))

✨ 主要特性

• 語言能力：該模型精通德語，能夠在各種任務中提供高質量的德語文本生成。
• 創意性：模型不僅表現出色，還具有一定的創造性，在語言表達上有突破邊界的傾向。

📦 安裝指南

文檔未提供安裝相關內容，暫不展示。

💻 使用示例

基礎用法

# 上述推理示例代碼即為基礎用法示例
import transformers

model_id = "seedboxai/KafkaLM-13B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    #max_length=8192,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)


print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?")))

高級用法

文檔未提供高級用法相關內容，暫不展示。

📚 詳細文檔

模型詳情

發佈KafkaLM系列模型的目的是為德語AI社區貢獻一套易於在日常各種任務的日常應用中使用的微調大語言模型。主要目標是提供精通德語的大語言模型，尤其適用於僅使用英語不足夠的德語商業場景。

數據集

使用了seedboxai/multitask_german_examples_32k的8k過濾版本。

提示格式

該模型遵循以下提示格式：

<|system|>
Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen.</s>
<|user|>
Welche Möglichkeiten der energetischen Sanierung habe ich neben Solar und Energiespeicher?</s>
<|assistant|>

🔧 技術細節

文檔未提供技術細節相關內容，暫不展示。

📄 許可證

此模型的許可證不構成法律建議。我們不對使用此模型的第三方的行為負責。此模型僅應用於研究目的。原始的Llama2許可證以及用於訓練此模型的所有數據集的限制均適用。

📋 模型信息表格