Fireblossom 32K 7B

🚀 Fireblossom-32K-7B

Fireblossom-32K-7B 是一個使用 mergekit 合併預訓練語言模型得到的模型。此合併以 Mistral 7B v0.1 為基礎模型進行任務算術合併，通過將 rope theta 從 10K 調整到 100K，其上下文長度至少可擴展到 16K。該模型旨在生成更多樣化的輸出，在一定程度上犧牲了準確性以換取創造性。

基礎模型

下載選項

• 完整權重
• GGUF 量化版本
• 8.0bpw h8 exl2 量化版本

採樣器設置

經過簡單測試，溫度參數設置為 0.7，最小概率設置為 0.01。若要獲得更具創造性的輸出，可以提高溫度參數。

提示格式

原生支持 Alpaca 格式，不過在測試過程中使用的是 ChatML 格式。

📚 合併詳情

合併方法

本模型採用 任務算術 合併方法，以 mistralai/Mistral-7B-v0.1 為基礎模型進行合併。

合併的模型

以下模型參與了合併：

• HuggingFaceH4/zephyr-7b-beta
• cgato/TheSpice-7b-v0.1.1
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• SanjiWatsuki/Kunoichi-7B

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: mistralai/Mistral-7B-v0.1
    # no parameters necessary for base model
  - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
    parameters:
      weight: 0.45
  - model: cgato/TheSpice-7b-v0.1.1
    parameters:
      weight: 0.05
  - model: HuggingFaceH4/zephyr-7b-beta
    parameters:
      weight: 0.05
  - model: SanjiWatsuki/Kunoichi-7B
    parameters:
      weight: 0.45
merge_method: task_arithmetic
base_model: mistralai/Mistral-7B-v0.1
dtype: float16