Progenitor V3.3 LLaMa 70B

🚀 模型融合项目

本项目是一个预训练语言模型的融合项目，通过融合多个强大的70B模型，旨在创造出性能更优的语言模型。它以特定的Llama 3.3指令模型为基础，运用先进的融合方法，为语言处理任务带来新的可能性。

在得到使用3.3 Llama指令模型作为基础的建议后，我制作了这个测试模型。我在这个过程中玩得很开心，我认为它比1.1和2.2版本更出色。

🚀 快速开始

本项目使用了transformers库，相关标签为mergekit和merge，许可证为llama3.3。

基础信息

✨ 主要特性

本项目是使用 mergekit 对预训练语言模型进行融合。

📚 详细文档

融合详情

融合方法

本模型使用 Linear DELLA 融合方法，以 meta-llama/Llama-3.3-70B-Instruct 为基础进行融合。

参与融合的模型

• SicariusSicariiStuff/Negative_LLAMA_70B
• TheDrummer/Anubis-70B-v1
• Sao10K/70B-L3.3-Cirrus-x1
• Sao10K/L3.1-70B-Hanami-x1
• EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1

配置信息

以下是用于生成此模型的YAML配置：

models:
  - model: Sao10K/L3.1-70B-Hanami-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: Sao10K/70B-L3.3-Cirrus-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: SicariusSicariiStuff/Negative_LLAMA_70B
    parameters:
      weight: 0.20
      density: 0.7
  - model: TheDrummer/Anubis-70B-v1
    parameters:
      weight: 0.20
      density: 0.7
  - model: EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1
    parameters:
      weight: 0.20
      density: 0.7
merge_method: della_linear
base_model: meta-llama/Llama-3.3-70B-Instruct
parameters:
  epsilon: 0.2
  lambda: 1.1
dype: float32
out_dtype: bfloat16
tokenizer:
 source: union

支持捐赠

在KO - FI上支持项目 <3

📄 许可证

本项目使用的许可证为llama3.3。