Midnight Miqu 103B V1.5

🚀 Midnight-Miqu-103B-v1.5模型

本項目是一個基於transformers庫的模型融合項目，使用mergekit工具將模型進行融合。該模型是對sophosympatheia/Midnight-Miqu-70B-v1.5模型進行融合得到的103B Frankenmerge模型，具備32K上下文處理能力。

🚀 快速開始

本模型是 sophosympatheia/Midnight-Miqu-70B-v1.5 模型與自身的103B Frankenmerge模型。具體細節和使用說明請參考該模型的卡片。此模型基於Miqu構建，因此具備32K上下文處理能力。

✨ 主要特性

量化版本

• GGUF
  • GGUF-mradermacher
  • GGUF-i1-mradermacher
• EXL2
  • 2.4bpw-LoneStriker
  • 2.5bpw-rpcal
  • 3.0bpw-LoneStriker
  • 3.0bpw-rpcal
  • 3.5bpw-LoneStriker
  • 3.5bpw-rpcal
  • 4.0bpw-rpcal
  • 5.0bpw-LoneStriker
  • 5.0bpw-rpcal

📚 詳細文檔

許可證和使用限制

⚠️ 重要提示

152334H/miqu-1-70b-sf 基於Mistral模型的一個洩露版本。所有基於miqu的模型，包括此融合模型，僅適用於個人使用。到目前為止，Mistral對此持寬容態度，但你應該意識到，下載此融合模型意味著你要承擔獲取和使用基於洩露權重的模型所固有的法律風險。此融合模型不提供任何形式的保證或擔保，但你可能早已瞭解這一點。我不是律師，也不聲稱知道我們在此面臨的法律情況。在將任何Hugging Face模型用於非私人用途之前，你應該諮詢律師……但絕對不要將此模型用於此類用途！

融合詳情

融合方法

本模型使用直通融合方法（passthrough merge method）進行融合。

融合的模型

融合過程中包含以下模型：

• sophosympatheia/Midnight-Miqu-70B-v1.5

配置

以下是用於生成此模型的YAML配置：

slices:
  - sources:
      - model: sophosympatheiaMidnight-Miqu-70B-v1.5
        layer_range: [0, 40] # 40
  - sources:
      - model: sophosympatheiaMidnight-Miqu-70B-v1.5
        layer_range: [20, 60] # 40
  - sources:
      - model: sophosympatheiaMidnight-Miqu-70B-v1.5
        layer_range: [40, 80] # 40
merge_method: passthrough
dtype: float16