Anathema V14 LLaMa 70B

🚀 預訓練語言模型合併項目

本項目利用 mergekit 對預訓練語言模型進行合併，旨在整合多個模型的優勢，提升模型的綜合性能。

🚀 快速開始

本項目是使用 mergekit 對預訓練語言模型進行的合併。

📚 詳細文檔

合併詳情

合併方法

本模型採用 SCE 合併方法，以 nbeerbower/Llama-3.1-Nemotron-lorablated-70B 為基礎進行合併。

參與合併的模型

以下模型參與了本次合併：

• Sao10K/L3-70B-Euryale-v2.1
• TheDrummer/Fallen-Llama-3.3-R1-70B-v1
• mlabonne/Hermes-3-Llama-3.1-70B-lorablated
• ReadyArt/The-Omega-Directive-L-70B-v1.0
• TareksLab/Feral-V3-LLaMa-70B

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: mlabonne/Hermes-3-Llama-3.1-70B-lorablated
  - model: Sao10K/L3-70B-Euryale-v2.1
  - model: TheDrummer/Fallen-Llama-3.3-R1-70B-v1
  - model: ReadyArt/The-Omega-Directive-L-70B-v1.0
  - model: TareksLab/Feral-V3-LLaMa-70B
merge_method: sce
base_model: nbeerbower/Llama-3.1-Nemotron-lorablated-70B
parameters:
  select_topk: 0.80
dtype: bfloat16
tokenizer:
 source: base

信息表格