Progenitor V3.3 LLaMa 70B

🚀 模型融合項目

本項目是一個預訓練語言模型的融合項目，通過融合多個強大的70B模型，旨在創造出性能更優的語言模型。它以特定的Llama 3.3指令模型為基礎，運用先進的融合方法，為語言處理任務帶來新的可能性。

在得到使用3.3 Llama指令模型作為基礎的建議後，我製作了這個測試模型。我在這個過程中玩得很開心，我認為它比1.1和2.2版本更出色。

🚀 快速開始

本項目使用了transformers庫，相關標籤為mergekit和merge，許可證為llama3.3。

基礎信息

✨ 主要特性

本項目是使用 mergekit 對預訓練語言模型進行融合。

📚 詳細文檔

融合詳情

融合方法

本模型使用 Linear DELLA 融合方法，以 meta-llama/Llama-3.3-70B-Instruct 為基礎進行融合。

參與融合的模型

• SicariusSicariiStuff/Negative_LLAMA_70B
• TheDrummer/Anubis-70B-v1
• Sao10K/70B-L3.3-Cirrus-x1
• Sao10K/L3.1-70B-Hanami-x1
• EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1

配置信息

以下是用於生成此模型的YAML配置：

models:
  - model: Sao10K/L3.1-70B-Hanami-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: Sao10K/70B-L3.3-Cirrus-x1
    parameters:
      weight: 0.20
      density: 0.7
  - model: SicariusSicariiStuff/Negative_LLAMA_70B
    parameters:
      weight: 0.20
      density: 0.7
  - model: TheDrummer/Anubis-70B-v1
    parameters:
      weight: 0.20
      density: 0.7
  - model: EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1
    parameters:
      weight: 0.20
      density: 0.7
merge_method: della_linear
base_model: meta-llama/Llama-3.3-70B-Instruct
parameters:
  epsilon: 0.2
  lambda: 1.1
dype: float32
out_dtype: bfloat16
tokenizer:
 source: union

支持捐贈

在KO - FI上支持項目 <3

📄 許可證

本項目使用的許可證為llama3.3。