Germeo 7b Laser

🚀 germeo-7b-laser

germeo-7b-laser 是一个从 Hermeo-7B 合并而来的模型，具备德英理解能力，但仅支持德语输出。该模型是关于激光对语言理解影响的早期实验，通常能提升语言理解能力。

🚀 快速开始

提示格式示例

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
# Convert prompt to tokens
prompt_template = """<|im_start|>system
Du bist ein hilfreicher Assistent.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "Schreibe eine Stellenanzeige für Data Scientist bei AXA!"

final_prompt = prompt_template.format(prompt=prompt)

限制模型仅输出回复

要解决这个问题，你需要实现一个自定义停止标准：

from transformers import StoppingCriteria
class GermeoStoppingCriteria(StoppingCriteria):
  def __init__(self, target_sequence, prompt):
      self.target_sequence = target_sequence
      self.prompt=prompt

  def __call__(self, input_ids, scores, **kwargs):
      # Get the generated text as a string
      generated_text = tokenizer.decode(input_ids[0])
      generated_text = generated_text.replace(self.prompt,'')
      # Check if the target sequence appears in the generated text
      if self.target_sequence in generated_text:
          return True  # Stop generation

      return False  # Continue generation

  def __len__(self):
      return 1

  def __iter__(self):
      yield self

然后，将格式化后的输入提示和停止标准（在这种情况下是 <|im_end|> 标记）添加到生成过程中：

generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_new_tokens=1012,
    stopping_criteria=GermeoStoppingCriteria("<|im_end|>", prompt_template.format(prompt=prompt))
)

✨ 主要特性

• 语言能力：具备德英理解能力，但仅支持德语输出。
• 模型融合：由 leo-mistral-hessianai-7b-chat 和 DPOpenHermes-7B-v2 合并而来。
• 实验特性：是关于激光对语言理解影响的早期实验，通常能提升语言理解能力。

📚 详细文档

模型详情

这是一个关于激光及其对语言理解影响的早期实验，总体上提升了语言理解能力。假设是它降低了英语回复的概率，增加了德语回复的概率，增强了模型内部的德语能力。后续会持续更新。

致谢

感谢所有参与使这个模型及其训练成为可能的人：

• 感谢 @malteos 提供的 hermeo。
• 感谢 @cognitivecomputations 和 Fernando Fernandes Neto 对 LASER 的实现。
• 感谢 @LeoLM 和 Björn 提供的 OpenSchnabeltier 数据集。

德语基准测试

尽管该模型在未明确要求的情况下不会生成英语文本，但在英语基准测试中的表现仍然不错：

英语基准测试

开放大语言模型排行榜评估结果

详细结果可查看 此处

📄 许可证

本模型采用 Apache-2.0 许可证。