Mixtral AI CyberCoder 7b

🚀 代碼生成預訓練模型融合項目

本項目專注於生成代碼、函數和應用程序，通過融合多個預訓練語言模型，打造出一個高度聚焦於編碼相關任務的模型。它使用了先進的融合方法，並將在專門的數據集上進行微調，以提升在編碼問題及相關任務上的性能。

🚀 快速開始

本模型正在持續優化和更新，不過這些更新可能不會即時反映在當前的gguf文件中。

✨ 主要特性

• 高度聚焦：專注於代碼、函數和應用程序的生成。
• 模型融合：融合了多個優秀的預訓練語言模型。
• 持續更新：不斷進行參數調整和優化。

📚 詳細文檔

模型融合

本模型是使用 mergekit 工具對預訓練語言模型進行融合得到的。

融合細節

• 融合方法：採用 TIES 融合方法，以 LeroyDyer/Mixtral_AI_Cyber_3.0 為基礎模型。
• 參與融合的模型：
  • mistralai/Mistral-7B-Instruct-v0.2
  • LeroyDyer/Mixtral_AI_MultiToken
  • LeroyDyer/Mixtral_AI_Multi_TEST
• 配置文件：以下是用於生成該模型的 YAML 配置文件：

models:
  - model: LeroyDyer/Mixtral_AI_Multi_TEST
    parameters:
      density: [0.87, 0.721, 0.451] # density gradient
      weight: 0.876
  - model: LeroyDyer/Mixtral_AI_MultiToken
    parameters:
      density: 0.232
      weight: [0.36, 0.3, 0.437, 0.76] # weight gradient
  - model: mistralai/Mistral-7B-Instruct-v0.2
    parameters:
      density: 0.475
      weight:
        - filter: mlp
          value: 0.5
        - value: 0
merge_method: ties
base_model: LeroyDyer/Mixtral_AI_Cyber_3.0
parameters:
  normalize: true
  int8_mask: true
dtype: float16

模型信息

📄 許可證

本項目採用 apache - 2.0 許可證。