Mixtral AI CyberCoder 7b

🚀 代码生成预训练模型融合项目

本项目专注于生成代码、函数和应用程序，通过融合多个预训练语言模型，打造出一个高度聚焦于编码相关任务的模型。它使用了先进的融合方法，并将在专门的数据集上进行微调，以提升在编码问题及相关任务上的性能。

🚀 快速开始

本模型正在持续优化和更新，不过这些更新可能不会即时反映在当前的gguf文件中。

✨ 主要特性

• 高度聚焦：专注于代码、函数和应用程序的生成。
• 模型融合：融合了多个优秀的预训练语言模型。
• 持续更新：不断进行参数调整和优化。

📚 详细文档

模型融合

本模型是使用 mergekit 工具对预训练语言模型进行融合得到的。

融合细节

• 融合方法：采用 TIES 融合方法，以 LeroyDyer/Mixtral_AI_Cyber_3.0 为基础模型。
• 参与融合的模型：
  • mistralai/Mistral-7B-Instruct-v0.2
  • LeroyDyer/Mixtral_AI_MultiToken
  • LeroyDyer/Mixtral_AI_Multi_TEST
• 配置文件：以下是用于生成该模型的 YAML 配置文件：

models:
  - model: LeroyDyer/Mixtral_AI_Multi_TEST
    parameters:
      density: [0.87, 0.721, 0.451] # density gradient
      weight: 0.876
  - model: LeroyDyer/Mixtral_AI_MultiToken
    parameters:
      density: 0.232
      weight: [0.36, 0.3, 0.437, 0.76] # weight gradient
  - model: mistralai/Mistral-7B-Instruct-v0.2
    parameters:
      density: 0.475
      weight:
        - filter: mlp
          value: 0.5
        - value: 0
merge_method: ties
base_model: LeroyDyer/Mixtral_AI_Cyber_3.0
parameters:
  normalize: true
  int8_mask: true
dtype: float16

模型信息

📄 许可证

本项目采用 apache - 2.0 许可证。