Mistral 4B

🚀 Mistral-4B

Mistral-4B是一個基於特定配置進行模型合併的項目。它利用mergekit工具，將多個fhai50032/RolePlayLake-7B模型的不同層進行合併，以實現特定的功能和效果。

🚀 快速開始

暫未提供相關快速開始的內容。

📚 詳細文檔

🧩 配置信息

以下是Mistral-4B的具體配置：

dtype: bfloat16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 8]
    model: fhai50032/RolePlayLake-7B
- sources:
  - layer_range: [11, 12]
    model: fhai50032/RolePlayLake-7B
- sources:
  - layer_range: [15, 16]
    model: fhai50032/RolePlayLake-7B
- sources:
  - layer_range: [19, 20]
    model: fhai50032/RolePlayLake-7B
- sources:
  - layer_range: [24, 25]
    model: fhai50032/RolePlayLake-7B
- sources:
  - layer_range: [28, 32]
    model: fhai50032/RolePlayLake-7B

該配置文件定義了數據類型為bfloat16，合併方法為passthrough，並指定了從多個fhai50032/RolePlayLake-7B模型中選取不同層進行合併的具體範圍。