Loyal Toppy Bruins Maid 7B DARE GGUF Imatrix

🚀 [SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE的GGUF - Imatrix量化模型]

本项目为[SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE](https://huggingface.co/SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE/)模型提供了GGUF - Imatrix量化版本。通过使用Importance Matrix技术，提升了量化模型的质量，在减少模型性能损失的同时，可能带来更好的模型表现。

🚀 快速开始

本项目使用了imatrix - Loyal - Toppy - Bruins - Maid - 7B - DARE - F16.dat作为--imatrix数据。转换流程为Base⇢ GGUF(F16)⇢ Imatrix - Data(F16)⇢ GGUF(Imatrix - Quants)，并基于llama.cpp-b2280进行处理。

新的IQ3_S量化选项表现优于旧的Q3_K_S，目前仅在koboldcpp - 1.59.1或更高版本中支持。如果需要添加特定的量化版本，欢迎提出需求。

✨ 主要特性

Imatrix技术

“Imatrix”代表Importance Matrix，这是一种用于提高量化模型质量的技术。它基于校准数据进行计算，在量化过程中帮助确定不同模型激活的重要性，旨在保留最重要的信息，从而减少模型性能的损失。当校准数据具有多样性时，使用Imatrix可以带来更好的模型性能。更多信息可参考：[1] [2]。

模型融合优势

原模型Loyal - Toppy - Bruins - Maid - 7B是一个7B模型，旨在实现引人入胜的角色扮演（RP），同时严格遵循角色卡设定并展现出智能表现。它融合了多个优秀模型的优势：

• 基础模型：基于[Starling - LM - 7B - alpha](https://huggingface.co/berkeley - nest/Starling - LM - 7B - alpha)，该模型在LMSYS Chatbot Arena中表现出色，甚至超越了GPT - 3.5 - Turbo - 1106。
• 融合模型：
  • [rwitz/go - bruins - v2](https://huggingface.co/rwitz/go - bruins - v2)：是[Q - bert/MetaMath - Cybertron - Starling](https://huggingface.co/Q - bert/MetaMath - Cybertron - Starling)的派生模型，经过Alpaca RP数据调优。
  • [chargoddard/loyal - piano - m7](https://huggingface.co/chargoddard/loyal - piano - m7)：具有强大的RP性能，经过Alpaca格式训练，使用了包括PIPPA、rpbuild和LimaRP等多样化的数据集。
  • [Undi95/Toppy - M - 7B](https://huggingface.co/Undi95/Toppy - M - 7B)：以其创造性著称，引入了来自各种来源的有用RP数据，在OpenRouter的7B模型排名中位居第一。
  • [NeverSleep/Noromaid - 7b - v0.1.1](https://huggingface.co/NeverSleep/Noromaid - 7b - v0.1.1)：是Mistral微调模型，拥有其他模型中没有的独特RP数据，为模型带来了独特的RP数据集。

模型使用DARE ties方法进行融合，目标绝对权重为1.2，密度较高（0.5 - 0.6），相关讨论可参考MergeKit GitHub仓库。目前，该模型在个人RP单元测试基准中排名靠前，在[lilblam's LLM Logic Test](https://docs.google.com/spreadsheets/d/1NgHDxbVWJFolq8bLvLkuPWKC7i_R6I6W/edit#gid = 1278290632)中获得了20分的优异成绩。

📚 详细文档

模型融合配置

models: # Top - Loyal - Bruins - Maid - DARE - 7B_v2
  - model: mistralai/Mistral - 7B - v0.1
    # no parameters necessary for base model
  - model: rwitz/go - bruins - v2 # MetamathCybertronStarling base
    parameters:
      weight: 0.5
      density: 0.6
  - model: chargoddard/loyal - piano - m7 # Pull in some PIPPA/LimaRP/Orca/rpguild
    parameters:
      weight: 0.5
      density: 0.6
  - model: Undi95/Toppy - M - 7B
    parameters:
      weight: 0.1
      density: 0.5
  - model: NeverSleep/Noromaid - 7b - v0.1.1
    parameters:
      weight: 0.1
      density: 0.5
merge_method: dare_ties
base_model: mistralai/Mistral - 7B - v0.1
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

提示模板

自定义格式

在SillyTavern中使用Noromaid模板可获得最佳效果。SillyTavern配置文件：Context，Instruct。同时，确保所有底层融合模型都倾向于Alpaca格式。

Alpaca格式

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

📄 许可证

本项目采用CC - BY - NC - 4.0许可证。

所有荣誉归创建者所有。