Fireblossom 32K 7B

🚀 Fireblossom-32K-7B

Fireblossom-32K-7B 是一个使用 mergekit 合并预训练语言模型得到的模型。此合并以 Mistral 7B v0.1 为基础模型进行任务算术合并，通过将 rope theta 从 10K 调整到 100K，其上下文长度至少可扩展到 16K。该模型旨在生成更多样化的输出，在一定程度上牺牲了准确性以换取创造性。

基础模型

下载选项

• 完整权重
• GGUF 量化版本
• 8.0bpw h8 exl2 量化版本

采样器设置

经过简单测试，温度参数设置为 0.7，最小概率设置为 0.01。若要获得更具创造性的输出，可以提高温度参数。

提示格式

原生支持 Alpaca 格式，不过在测试过程中使用的是 ChatML 格式。

📚 合并详情

合并方法

本模型采用 任务算术 合并方法，以 mistralai/Mistral-7B-v0.1 为基础模型进行合并。

合并的模型

以下模型参与了合并：

• HuggingFaceH4/zephyr-7b-beta
• cgato/TheSpice-7b-v0.1.1
• SanjiWatsuki/Kunoichi-DPO-v2-7B
• SanjiWatsuki/Kunoichi-7B

配置

以下是用于生成此模型的 YAML 配置：

models:
  - model: mistralai/Mistral-7B-v0.1
    # no parameters necessary for base model
  - model: SanjiWatsuki/Kunoichi-DPO-v2-7B
    parameters:
      weight: 0.45
  - model: cgato/TheSpice-7b-v0.1.1
    parameters:
      weight: 0.05
  - model: HuggingFaceH4/zephyr-7b-beta
    parameters:
      weight: 0.05
  - model: SanjiWatsuki/Kunoichi-7B
    parameters:
      weight: 0.45
merge_method: task_arithmetic
base_model: mistralai/Mistral-7B-v0.1
dtype: float16