Llama 3.1 8b Dolermed V1.01

🚀 Llama_3.1_8b_Dolermed_V1.01

Llama_3.1_8b_Dolermed_V1.01 是使用 mergekit 合并预训练语言模型得到的模型。该模型在多个文本生成任务的评估中展现出一定的性能，可用于相关自然语言处理场景。

🚀 快速开始

本模型是使用 mergekit 对预训练语言模型进行合并得到的。

✨ 主要特性

• 模型合并：采用 Model Stock 合并方法，以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 为基础进行合并。
• 多模型融合：合并了 meditsolutions/Llama-3.1-MedIT-SUN-8B 和 mlabonne/Hermes-3-Llama-3.1-8B-lorablated 两个模型。
• 评估表现：在多个文本生成任务的数据集上进行了评估，如 IFEval (0-Shot)、BBH (3-Shot) 等，并在 Open LLM Leaderboard 上展示了评估结果。

📚 详细文档

合并详情

合并方法

本模型使用 Model Stock 合并方法，以 huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated 为基础进行合并。

合并的模型

以下模型参与了合并：

• meditsolutions/Llama-3.1-MedIT-SUN-8B
• mlabonne/Hermes-3-Llama-3.1-8B-lorablated

配置

以下 YAML 配置用于生成此模型：

merge_method: model_stock
models:
  - model: mlabonne/Hermes-3-Llama-3.1-8B-lorablated
    parameters:
      weight: 1.0
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B
    parameters:
      weight: 1.0
base_model: huihui-ai/Dolphin3.0-Llama3.1-8B-abliterated
dtype: bfloat16
normalize: true
chat_template: auto
tokenizer:
  source: union

Open LLM Leaderboard 评估结果

详细结果可查看 此处

📄 许可证

本模型使用的许可证为 llama3.1。