🚀 germeo-7b-laser

German-English理解能力を備え、ドイツ語のみで応答するモデルで、Hermeo-7Bからマージされました。

🚀 クイックスタート

このモデルは、レーザーとそれが言語理解に与える影響に関する初期実験です。一般的に言語理解能力を向上させます。仮説として、英語での応答確率を低下させ、ドイツ語での応答確率を増加させることが考えられます。モデル内部のドイツ語能力が強化されます。

✨ 主な機能

• German-English理解能力を備え、ドイツ語のみで応答する。
• レーザーを用いた実験により、言語理解能力が向上。
• モデル内部のドイツ語能力が強化される。

📚 ドキュメント

モデルの詳細

これはレーザーとその言語理解への影響に関する初期実験です。一般的に言語理解能力を向上させます。仮説として、英語での応答確率を低下させ、ドイツ語での応答確率を増加させることが考えられます。モデル内部のドイツ語能力が強化されます。

謝辞

このモデルの作成とトレーニングを可能にしてくれたすべての人に感謝します。

• @malteos の hermeo
• @cognitivecomputations と Fernando Fernandes Neto の LASER の実装
• @LeoLM と Björn の OpenSchnabeltier データセット

プロンプトフォーマット

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
# Convert prompt to tokens
prompt_template = """<|im_start|>system
Du bist ein hilfreicher Assistent.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant"""

prompt = "Schreibe eine Stellenanzeige für Data Scientist bei AXA!"

final_prompt = prompt_template.format(prompt=prompt)

モデルを応答のみに制限する

これを解決するには、カスタムの停止条件を実装する必要があります。

from transformers import StoppingCriteria
class GermeoStoppingCriteria(StoppingCriteria):
  def __init__(self, target_sequence, prompt):
      self.target_sequence = target_sequence
      self.prompt=prompt

  def __call__(self, input_ids, scores, **kwargs):
      # Get the generated text as a string
      generated_text = tokenizer.decode(input_ids[0])
      generated_text = generated_text.replace(self.prompt,'')
      # Check if the target sequence appears in the generated text
      if self.target_sequence in generated_text:
          return True  # Stop generation

      return False  # Continue generation

  def __len__(self):
      return 1

  def __iter__(self):
      yield self

これは、入力プロンプト（モデルに与えられた形式）と停止条件（この場合は im_end トークン）を期待します。単に生成に追加します。

generation_output = model.generate(
    tokens, 
    streamer=streamer,
    max_new_tokens=1012,
    stopping_criteria=GermeoStoppingCriteria("<|im_end|>", prompt_template.format(prompt=prompt))
)

ドイツ語のベンチマーク

モデルは明示的に要求されない限り英語のテキストを生成しませんが、英語のベンチマークでのパフォーマンスは依然として高いです。

英語のベンチマーク

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。