Merge Mayhem L3 V2.1

🚀 模型合併項目

本項目是使用 mergekit 對預訓練語言模型進行合併的成果。通過合併多個預訓練模型，旨在提升模型的性能和適用性，為自然語言處理任務提供更強大的支持。

🚀 快速開始

本項目主要圍繞預訓練語言模型的合併展開，使用了特定的合併方法和配置。以下是詳細介紹。

✨ 主要特性

• 多模型合併：將多個預訓練的語言模型進行合併，綜合各模型的優勢。
• 特定合併方法：採用 Model Stock 合併方法，以 openlynn/Llama-3-Soliloquy-8B-v2 為基礎模型進行合併。

📚 詳細文檔

合併詳情

本次合併是 V2 版本的重新運行，使用了 Meta 的倉庫和可能更好的配置。不過，目前不確定結果是否會有很大差異，也不清楚模型庫存對合並效果的影響程度。

合併方法

本模型使用 Model Stock 合併方法，以 openlynn/Llama-3-Soliloquy-8B-v2 作為基礎模型進行合併。

參與合併的模型

以下模型參與了本次合併：

• meta-llama/Meta-Llama-3-8B-Instruct + ResplendentAI/Luna_Llama3
• meta-llama/Meta-Llama-3-8B-Instruct + ResplendentAI/RP_Format_QuoteAsterisk_Llama3
• meta-llama/Meta-Llama-3-8B-Instruct + ResplendentAI/Smarts_Llama3
• meta-llama/Meta-Llama-3-8B-Instruct + ResplendentAI/BlueMoon_Llama3
• meta-llama/Meta-Llama-3-8B-Instruct + ResplendentAI/Aura_Llama3

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: meta-llama/Meta-Llama-3-8B-Instruct+ResplendentAI/Aura_Llama3
  - model: meta-llama/Meta-Llama-3-8B-Instruct+ResplendentAI/Smarts_Llama3
  - model: meta-llama/Meta-Llama-3-8B-Instruct+ResplendentAI/Luna_Llama3
  - model: meta-llama/Meta-Llama-3-8B-Instruct+ResplendentAI/BlueMoon_Llama3
  - model: meta-llama/Meta-Llama-3-8B-Instruct+ResplendentAI/RP_Format_QuoteAsterisk_Llama3
merge_method: model_stock
base_model: openlynn/Llama-3-Soliloquy-8B-v2
dtype: float16

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。