Kafkalm 13B German V0.1

🚀 KafkaLM-13B-German-V0.1

KafkaLM-13B-German-V0.1 是一个基于Llama2 13b的模型，它在来自Björn Plüster和LAION的大型德语数据集上进行了进一步预训练，还在一系列流行的高质量开源指令集（从英语翻译成德语）上进行了微调。该模型旨在为德语AI社区贡献一套易于在日常应用中使用的微调大语言模型，尤其适用于仅使用英语不足够的德语商业场景。

🚀 快速开始

推理示例

以下是使用该模型进行推理的示例代码：

import transformers

model_id = "seedboxai/KafkaLM-13B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    #max_length=8192,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)


print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?")))

✨ 主要特性

• 语言能力：该模型精通德语，能够在各种任务中提供高质量的德语文本生成。
• 创意性：模型不仅表现出色，还具有一定的创造性，在语言表达上有突破边界的倾向。

📦 安装指南

文档未提供安装相关内容，暂不展示。

💻 使用示例

基础用法

# 上述推理示例代码即为基础用法示例
import transformers

model_id = "seedboxai/KafkaLM-13B-German-V0.1"

model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, trust_remote_code=True)

tokenizer = AutoTokenizer.from_pretrained(model_id)

tokenizer.padding_side = "right" 
tokenizer.pad_token = tokenizer.unk_token
tokenizer.add_eos_token = False

def generate_prompt(input):
    prompt = ''
    sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen."
    
    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
    prompt += f"<|user|>\n{input.strip()}</s>\n"
    prompt += f"<|assistant|>\n"

    return prompt.strip()


generate_text = transformers.pipeline(
    model=model, tokenizer=tokenizer,
    return_full_text=True,  
    task='text-generation',
    temperature=0.5,  
    #max_length=8192,  
    max_new_tokens=512,
    top_p=0.95,
    top_k=50,
    do_sample=True,
)


print(generate_text(generate_prompt("Wer ist eigentlich dieser Kafka?")))

高级用法

文档未提供高级用法相关内容，暂不展示。

📚 详细文档

模型详情

发布KafkaLM系列模型的目的是为德语AI社区贡献一套易于在日常各种任务的日常应用中使用的微调大语言模型。主要目标是提供精通德语的大语言模型，尤其适用于仅使用英语不足够的德语商业场景。

数据集

使用了seedboxai/multitask_german_examples_32k的8k过滤版本。

提示格式

该模型遵循以下提示格式：

<|system|>
Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert und präzise, ohne dabei relevante Fakten auszulassen.</s>
<|user|>
Welche Möglichkeiten der energetischen Sanierung habe ich neben Solar und Energiespeicher?</s>
<|assistant|>

🔧 技术细节

文档未提供技术细节相关内容，暂不展示。

📄 许可证

此模型的许可证不构成法律建议。我们不对使用此模型的第三方的行为负责。此模型仅应用于研究目的。原始的Llama2许可证以及用于训练此模型的所有数据集的限制均适用。

📋 模型信息表格