Rose 20B

🚀 Rose-20B

Rose-20B是一個實驗性的融合模型，結合了多個模型的優勢，在角色扮演場景中表現出色，同時也具備作為微調實驗基礎模型的潛力。

🚀 快速開始

本模型推薦使用Alpaca格式，示例如下：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

你可以自由分享其他有效的提示，該模型具有很強的魯棒性。

✨ 主要特性

• 角色扮演能力強：此模型在各種角色扮演場景中表現出色。
• 融合多模型優勢：通過融合Thorns-13B和Noromaid-13-v0.1.1兩個模型的優勢，提升了整體性能。
• 格式多樣：提供了GGUF、GPTQ、AWQ、exl2等多種格式。

📚 詳細文檔

模型詳情

這是一個由CalderaAI的Thorns-13B和NeverSleep（IkariDev和Undi）的Noromaid-13-v0.1.1融合而成的模型。該融合方案由Trappu提出，層分佈方案由Undi制定。將該模型命名為“Rose”，是因為它很適合“帶刺女僕”這一形象。

存在的理由

• 微調實驗基礎：有潛力作為使用我們的數據集進行微調實驗的基礎模型，以創建Pygmalion-20B。由於該模型本身已經具備較高的能力，加入我們的數據集將與模型的性能很好地融合。
• 模型融合實驗：有潛力與其他20B融合模型進行融合實驗。

模型融合配方

slices:
  - sources:
    - model: Thorns-13B
      layer_range: [0, 16]
  - sources:
    - model: Noromaid-13B
      layer_range: [8, 24]
  - sources:
    - model: Thorns-13B
      layer_range: [17, 32]
  - sources:
    - model: Noromaid-13B
      layer_range: [25, 40]
merge_method: passthrough
dtype: float16

再次感謝Undi提供的融合配方。

反饋情況

該模型已提供給PygmalionAI Discord社區的少數成員進行測試。絕大多數成員非常喜歡這個模型，只有少數成員給出了及格評價。由於我們的社區對角色扮演模型有很高的標準，所以這個積極的反饋讓我感到驚訝。

聯繫信息

如果你想和我討論這個模型，可以在Discord上給tav（tav）發送消息。我隨時歡迎大家提出意見。

⚠️ 重要提示

由於KV緩存增加，該模型需要更多的VRAM來處理上下文窗口，會顯著增加VRAM的使用量。

📄 許可證

本模型使用llama2許可證。