Llama 3.1 8b Dolermed V1.01

🚀 Llama_3.1_8b_Dolermed_V1.01

Llama_3.1_8b_Dolermed_V1.01 是使用 mergekit 合併預訓練語言模型得到的模型。該模型在多個文本生成任務的評估中展現出一定的性能，可用於相關自然語言處理場景。

🚀 快速開始

本模型是使用 mergekit 對預訓練語言模型進行合併得到的。

✨ 主要特性

• 模型合併：採用 Model Stock 合併方法，以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 為基礎進行合併。
• 多模型融合：合併了 meditsolutions/Llama-3.1-MedIT-SUN-8B 和 mlabonne/Hermes-3-Llama-3.1-8B-lorablated 兩個模型。
• 評估表現：在多個文本生成任務的數據集上進行了評估，如 IFEval (0-Shot)、BBH (3-Shot) 等，並在 Open LLM Leaderboard 上展示了評估結果。

📚 詳細文檔

合併詳情

合併方法

本模型使用 Model Stock 合併方法，以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 為基礎進行合併。

合併的模型

以下模型參與了合併：

• meditsolutions/Llama-3.1-MedIT-SUN-8B
• mlabonne/Hermes-3-Llama-3.1-8B-lorablated

配置

以下 YAML 配置用於生成此模型：

merge_method: model_stock
models:
  - model: mlabonne/Hermes-3-Llama-3.1-8B-lorablated
    parameters:
      weight: 1.0
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B
    parameters:
      weight: 1.0
base_model: huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

Open LLM Leaderboard 評估結果

詳細結果可查看 此處

📄 許可證

本模型使用的許可證為 llama3.1。