Anathema V14 LLaMa 70B

🚀 预训练语言模型合并项目

本项目利用 mergekit 对预训练语言模型进行合并，旨在整合多个模型的优势，提升模型的综合性能。

🚀 快速开始

本项目是使用 mergekit 对预训练语言模型进行的合并。

📚 详细文档

合并详情

合并方法

本模型采用 SCE 合并方法，以 nbeerbower/Llama-3.1-Nemotron-lorablated-70B 为基础进行合并。

参与合并的模型

以下模型参与了本次合并：

• Sao10K/L3-70B-Euryale-v2.1
• TheDrummer/Fallen-Llama-3.3-R1-70B-v1
• mlabonne/Hermes-3-Llama-3.1-70B-lorablated
• ReadyArt/The-Omega-Directive-L-70B-v1.0
• TareksLab/Feral-V3-LLaMa-70B

配置信息

以下是用于生成此模型的 YAML 配置：

models:
  - model: mlabonne/Hermes-3-Llama-3.1-70B-lorablated
  - model: Sao10K/L3-70B-Euryale-v2.1
  - model: TheDrummer/Fallen-Llama-3.3-R1-70B-v1
  - model: ReadyArt/The-Omega-Directive-L-70B-v1.0
  - model: TareksLab/Feral-V3-LLaMa-70B
merge_method: sce
base_model: nbeerbower/Llama-3.1-Nemotron-lorablated-70B
parameters:
  select_topk: 0.80
dtype: bfloat16
tokenizer:
 source: base

信息表格