Germeo 7b Laser

🚀 germeo-7b-laser

germeo-7b-laser 是一個從 Hermeo-7B 合併而來的模型，具備德英理解能力，但僅支持德語輸出。該模型是關於激光對語言理解影響的早期實驗，通常能提升語言理解能力。

🚀 快速開始

提示格式示例

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
# Convert prompt to tokens
prompt_template = """<|im_start|>system
Du bist ein hilfreicher Assistent.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "Schreibe eine Stellenanzeige für Data Scientist bei AXA!"

final_prompt = prompt_template.format(prompt=prompt)

限制模型僅輸出回覆

要解決這個問題，你需要實現一個自定義停止標準：

from transformers import StoppingCriteria
class GermeoStoppingCriteria(StoppingCriteria):
  def __init__(self, target_sequence, prompt):
      self.target_sequence = target_sequence
      self.prompt=prompt

  def __call__(self, input_ids, scores, **kwargs):
      # Get the generated text as a string
      generated_text = tokenizer.decode(input_ids[0])
      generated_text = generated_text.replace(self.prompt,'')
      # Check if the target sequence appears in the generated text
      if self.target_sequence in generated_text:
          return True  # Stop generation

      return False  # Continue generation

  def __len__(self):
      return 1

  def __iter__(self):
      yield self

然後，將格式化後的輸入提示和停止標準（在這種情況下是 <|im_end|> 標記）添加到生成過程中：

generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_new_tokens=1012,
    stopping_criteria=GermeoStoppingCriteria("<|im_end|>", prompt_template.format(prompt=prompt))
)

✨ 主要特性

• 語言能力：具備德英理解能力，但僅支持德語輸出。
• 模型融合：由 leo-mistral-hessianai-7b-chat 和 DPOpenHermes-7B-v2 合併而來。
• 實驗特性：是關於激光對語言理解影響的早期實驗，通常能提升語言理解能力。

📚 詳細文檔

模型詳情

這是一個關於激光及其對語言理解影響的早期實驗，總體上提升了語言理解能力。假設是它降低了英語回覆的概率，增加了德語回覆的概率，增強了模型內部的德語能力。後續會持續更新。

致謝

感謝所有參與使這個模型及其訓練成為可能的人：

• 感謝 @malteos 提供的 hermeo。
• 感謝 @cognitivecomputations 和 Fernando Fernandes Neto 對 LASER 的實現。
• 感謝 @LeoLM 和 Björn 提供的 OpenSchnabeltier 數據集。

德語基準測試

儘管該模型在未明確要求的情況下不會生成英語文本，但在英語基準測試中的表現仍然不錯：

英語基準測試

開放大語言模型排行榜評估結果

詳細結果可查看 此處

📄 許可證

本模型採用 Apache-2.0 許可證。