Wizardlaker 7B

🚀 WizardLaker 7B

このモデルは、新しいWizardLM 2 7Bモデルと独自のカスタムDolphinLakeモデル(https://huggingface.co/Noodlz/DolphinLake-7B) をマージしたものです。性能は良好で、OpenLLMのリーダーボードでの評価に提出予定です。mergekit を使用して作成されまし。

🚀 クイックスタート

このモデルは、新しいWizardLM 2 7Bモデルと独自のカスタムDolphinLakeモデルをマージして作成されています。性能が良好で、OpenLLMのリーダーボードでの評価に提出予定です。

📚 ドキュメント

🔍 マージの詳細

📋 マージ方法

このモデルは、DARE TIES マージ方法を使用し、amazingvince/Not-WizardLM-2-7Bをベースにマージされました。

🧩 マージされたモデル

以下のモデルがマージに含まれています：

• /Noodlz/DolphinLake-7B

⚙️ 設定

このモデルを生成するために使用されたYAML設定は以下の通りです：

merge_method: dare_ties

parameters:
  int8_mask: true
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # fallback for rest of tensors
  embed_slerp: true

models:
  - model: amazingvince/Not-WizardLM-2-7B
    # No parameters necessary for base model
  - model: /Noodlz/DolphinLake-7B
    parameters:
      density: 0.58
      weight: 0.4

base_model: amazingvince/Not-WizardLM-2-7B

tokenizer_source: model:amazingvince/Not-WizardLM-2-7B
dtype: bfloat16

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で提供されています。