Sixtyoneeighty 7b

🚀 預訓練語言模型合併項目

本項目使用 mergekit 工具對多個預訓練語言模型進行合併，旨在融合不同模型的優勢，提升整體性能。

🚀 快速開始

本項目是使用 mergekit 創建的預訓練語言模型合併項目。

✨ 主要特性

• 採用先進的合併方法，融合多個優秀預訓練語言模型的特性。
• 可根據不同的配置靈活調整合並策略。

📚 詳細文檔

合併詳情

合併方法

本模型使用 DARE TIES 合併方法，以 mlabonne/NeuralBeagle14-7B 為基礎模型進行合併。

參與合併的模型

以下模型參與了本次合併：

• Intel/neural-chat-7b-v3-1
• mlabonne/AlphaMonarch-7B
• HuggingFaceH4/zephyr-7b-beta

配置信息

以下是用於生成此模型的 YAML 配置：

base_model: mlabonne/NeuralBeagle14-7B
dtype: bfloat16
merge_method: dare_ties
models:
- model: mlabonne/NeuralBeagle14-7B
- model: mlabonne/AlphaMonarch-7B
  parameters:
    density: '0.53'
    weight: '0.4'
- model: Intel/neural-chat-7b-v3-1
  parameters:
    density: '0.53'
    weight: '0.3'
- model: HuggingFaceH4/zephyr-7b-beta
  parameters:
    density: '0.53'
    weight: '0.3'
parameters:
  int8_mask: true

📄 許可證

本項目採用 apache-2.0 許可證。