Loyal Toppy Bruins Maid 7B DARE GGUF Imatrix

🚀 [SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE的GGUF - Imatrix量化模型]

本項目為[SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE](https://huggingface.co/SanjiWatsuki/Loyal - Toppy - Bruins - Maid - 7B - DARE/)模型提供了GGUF - Imatrix量化版本。通過使用Importance Matrix技術，提升了量化模型的質量，在減少模型性能損失的同時，可能帶來更好的模型表現。

🚀 快速開始

本項目使用了imatrix - Loyal - Toppy - Bruins - Maid - 7B - DARE - F16.dat作為--imatrix數據。轉換流程為Base⇢ GGUF(F16)⇢ Imatrix - Data(F16)⇢ GGUF(Imatrix - Quants)，並基於llama.cpp-b2280進行處理。

新的IQ3_S量化選項表現優於舊的Q3_K_S，目前僅在koboldcpp - 1.59.1或更高版本中支持。如果需要添加特定的量化版本，歡迎提出需求。

✨ 主要特性

Imatrix技術

“Imatrix”代表Importance Matrix，這是一種用於提高量化模型質量的技術。它基於校準數據進行計算，在量化過程中幫助確定不同模型激活的重要性，旨在保留最重要的信息，從而減少模型性能的損失。當校準數據具有多樣性時，使用Imatrix可以帶來更好的模型性能。更多信息可參考：[1] [2]。

模型融合優勢

原模型Loyal - Toppy - Bruins - Maid - 7B是一個7B模型，旨在實現引人入勝的角色扮演（RP），同時嚴格遵循角色卡設定並展現出智能表現。它融合了多個優秀模型的優勢：

• 基礎模型：基於[Starling - LM - 7B - alpha](https://huggingface.co/berkeley - nest/Starling - LM - 7B - alpha)，該模型在LMSYS Chatbot Arena中表現出色，甚至超越了GPT - 3.5 - Turbo - 1106。
• 融合模型：
  • [rwitz/go - bruins - v2](https://huggingface.co/rwitz/go - bruins - v2)：是[Q - bert/MetaMath - Cybertron - Starling](https://huggingface.co/Q - bert/MetaMath - Cybertron - Starling)的派生模型，經過Alpaca RP數據調優。
  • [chargoddard/loyal - piano - m7](https://huggingface.co/chargoddard/loyal - piano - m7)：具有強大的RP性能，經過Alpaca格式訓練，使用了包括PIPPA、rpbuild和LimaRP等多樣化的數據集。
  • [Undi95/Toppy - M - 7B](https://huggingface.co/Undi95/Toppy - M - 7B)：以其創造性著稱，引入了來自各種來源的有用RP數據，在OpenRouter的7B模型排名中位居第一。
  • [NeverSleep/Noromaid - 7b - v0.1.1](https://huggingface.co/NeverSleep/Noromaid - 7b - v0.1.1)：是Mistral微調模型，擁有其他模型中沒有的獨特RP數據，為模型帶來了獨特的RP數據集。

模型使用DARE ties方法進行融合，目標絕對權重為1.2，密度較高（0.5 - 0.6），相關討論可參考MergeKit GitHub倉庫。目前，該模型在個人RP單元測試基準中排名靠前，在[lilblam's LLM Logic Test](https://docs.google.com/spreadsheets/d/1NgHDxbVWJFolq8bLvLkuPWKC7i_R6I6W/edit#gid = 1278290632)中獲得了20分的優異成績。

📚 詳細文檔

模型融合配置

models: # Top - Loyal - Bruins - Maid - DARE - 7B_v2
  - model: mistralai/Mistral - 7B - v0.1
    # no parameters necessary for base model
  - model: rwitz/go - bruins - v2 # MetamathCybertronStarling base
    parameters:
      weight: 0.5
      density: 0.6
  - model: chargoddard/loyal - piano - m7 # Pull in some PIPPA/LimaRP/Orca/rpguild
    parameters:
      weight: 0.5
      density: 0.6
  - model: Undi95/Toppy - M - 7B
    parameters:
      weight: 0.1
      density: 0.5
  - model: NeverSleep/Noromaid - 7b - v0.1.1
    parameters:
      weight: 0.1
      density: 0.5
merge_method: dare_ties
base_model: mistralai/Mistral - 7B - v0.1
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

提示模板

自定義格式

在SillyTavern中使用Noromaid模板可獲得最佳效果。SillyTavern配置文件：Context，Instruct。同時，確保所有底層融合模型都傾向於Alpaca格式。

Alpaca格式

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

📄 許可證

本項目採用CC - BY - NC - 4.0許可證。

所有榮譽歸創建者所有。