Wizardlaker 7B

🚀 WizardLaker 7B

WizardLaker 7B 是將新的 WizardLM 2 7B 模型與自定義的 DolphinLake 模型（https://huggingface.co/Noodlz/DolphinLake - 7B）進行融合的產物。該模型表現出色，後續將提交至 OpenLLM 排行榜進行評估。此模型使用 mergekit 創建。

🚀 快速開始

本模型可直接基於 transformers 庫進行使用，你可以參考 transformers 庫的官方文檔進行模型的加載與推理。

📚 詳細文檔

🔍 融合詳情

融合方法

此模型採用 DARE TIES 融合方法，以 amazingvince/Not - WizardLM - 2 - 7B 為基礎模型進行融合。

參與融合的模型

融合過程中包含以下模型：

• /Noodlz/DolphinLake - 7B

配置信息

以下是用於生成此模型的 YAML 配置：

merge_method: dare_ties

parameters:
  int8_mask: true
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5 # fallback for rest of tensors
  embed_slerp: true

models:
  - model: amazingvince/Not-WizardLM-2-7B
    # No parameters necessary for base model
  - model: /Noodlz/DolphinLake-7B
    parameters:
      density: 0.58
      weight: 0.4

base_model: amazingvince/Not-WizardLM-2-7B

tokenizer_source: model:amazingvince/Not-WizardLM-2-7B
dtype: bfloat16

📄 許可證

本模型採用 Apache 2.0 許可證。