Llama2 13B Estopia

🚀 Estopia模型

Estopia是一个专注于优化指令格式下对话和散文回复的模型。它能很好地记住细节，在引导叙事方面表现出色，能根据指令引导或探索虚构故事。

🚀 快速开始

模型信息

模型简介

Estopia模型专注于提升指令格式下的对话和散文回复质量。作为附带优势，它在处理角色卡等内容时也有不错表现，能很好地记住细节。该模型主要聚焦于“引导叙事”，即通过指令引导或探索虚构故事，你可以作为AI叙事和填充细节的引导者。它经过了多种模式的测试，如指令、聊天、冒险和故事模式，尤其在指令和冒险模式中表现出色，故事模式也较为优秀。

使用示例

基础用法

Estopia模型主要使用Alpaca格式进行测试，但也可能对其他格式有一定理解。以下是一些测试过的格式示例：

### Instruction:
What colour is the sky?
### Response:
The sky is...

<Story text>
***
Write a summary of the text above
***
The story starts by...

使用Kobold Lite AI冒险模式：

User:Hello there!
Assistant:Good morning...

高级用法

以下是一些通用的设置建议：

• 温度（Temperature）：0.8 - 1.2
• 最小概率（Min P）：0.05 - 0.1
• 最大概率（Max P）：0.92，如果最小概率大于0则为1
• 顶部K值（Top K）：0
• 回复长度（Response length）：通常建议高于常规值，例如常见选择为512。
  • 注意：回复长度并不总是能保证达到设定值。有时，如果回复内容已完整表达，可能会更短；有时则可能超过该值，这主要取决于角色卡、指令等因素。
• 重复惩罚（Rep Pen）：1.1
• 重复惩罚范围（Rep Pen Range）：回复长度的2或3倍
• 停止标记（非必需，但在AI输出过多时可能有帮助）：
  • ##||$||---||$||ASSISTANT:||$||[End||$||</s> - Kobold Lite的组合标记
  • ##
  • ---
  • ASSISTANT:
  • [End
  • </s>

上述设置通常能在遵循指令和发挥创造力之间取得较好平衡。一般来说，温度设置得越高，AI回复的创造力越强，但出现逻辑错误的概率也会增加。

模型构建过程

本模型的构建分为三个阶段，同时还有许多实验阶段，为简洁起见将跳过这些实验阶段。

第一阶段：EstopiaV9

该阶段的模型在遵循指令和回复的创造力方面表现出色，不过回复通常较短，输出范围也相对较窄，但能更好地传达细微差别。

merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
    parameters:
    weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
    parameters:
    weight: 0.02
- model: PygmalionAI/mythalion-13b
    parameters:
    weight: 0.10
- model: Undi95/Emerhyst-13B
    parameters:
    weight: 0.05
- model: CalderaAI/13B-Thorns-l2
    parameters:
    weight: 0.05
- model: KoboldAI/LLaMA2-13B-Tiefighter
    parameters:
    weight: 0.20
dtype: float16

第二阶段：EstopiaV13

此阶段生成的回复较长，但在合适的停止点后可能会继续输出，因为它更倾向于小说风格的散文。不过，它在中立性方面表现较好，并且保留了EstopiaV9的许多细节跟踪能力。

merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
  - model: TheBloke/Llama-2-13B-fp16
  - model: Undi95/UtopiaXL-13B
    parameters:
      weight: 1.0
  - model: Doctor-Shotgun/cat-v1.0-13b
    parameters:
      weight: 0.01
  - model: chargoddard/rpguild-chatml-13b
    parameters:
      weight: 0.02
  - model: PygmalionAI/mythalion-13b
    parameters:
      weight: 0.08
  - model: CalderaAI/13B-Thorns-l2
    parameters:
      weight: 0.02
  - model: KoboldAI/LLaMA2-13B-Tiefighter
    parameters:
      weight: 0.20
dtype: float16

第三阶段：合并EstopiaV9和EstopiaV13

此阶段使用了dare合并技术，尽可能保留两个模型的优点。

# task-arithmetic style
models:
  - model: EstopiaV9
    parameters:
      weight: 1
      density: 1
  - model: EstopiaV13
    parameters:
      weight: 0.05
      density: 0.30
merge_method: dare_ties
base_model: TheBloke/Llama-2-13B-fp16
parameters:
  int8_mask: true
dtype: bfloat16

模型选择依据

• Undi95/UtopiaXL - 13B：是一个全面的基础模型，能够生成较长的回复，并且对细节的保留能力较好。
• Doctor - Shotgun/cat - v1.0 - 13b：是一个专注于医疗领域的模型，加入该模型可以使回复更具人性化，例如在心理学方面的回复。
• PygmalionAI/mythalion - 13b：是一个专注于角色扮演和指令的模型，能提高对角色卡细节的关注度和回复的多样性。
• Undi95/Emerhyst - 13B：是一个既适用于角色扮演又能生成较长回复的模型。其表现可能会有所波动，但有助于增加AI在叙事过程中回复的深度和可能性。
• CalderaAI/13B - Thorns - l2：是一个中立且非常专注的模型。它擅长聊天和遵循指令，对这些模式有很好的支持作用。
• KoboldAI/LLaMA2 - 13B - Tiefighter：是一个全面的模型，专注于故事写作和冒险模式。它能提升模型的创造力和散文质量，并支持冒险模式。
• chargoddard/rpguild - chatml - 13b：是一个角色扮演模型，引入了新的数据，并且提高了长篇叙事中的细节保留能力。

注意事项

⚠️ 重要提示

由于该模型融合了多种不同的模型，因此可能没有完美的序列结束标记，这是许多合并模型常见的问题。尽管已经尽力减少这种情况，但偶尔可能会出现行为异常的标记。你可以通过手动快速编辑来解决这个问题，之后模型应该能够正常处理。

💡 使用建议

聊天模式是该模型测试最少的领域之一。虽然它在聊天模式下表现尚可，但可能对角色卡的依赖较大。此外，该模型主要专注于叙事和散文，因此在指令或其他上下文中，如果引导它进行对话，它可能会主动发言。你可以通过添加指令来限制这种情况，或者使用聊天模式。

未来发展方向

• Llava：已经尝试将llava lora与该模型合并，并取得了一定的成功。虽然尚未进行深入测试，但可以获得基于图像的更多叙事回复。不过，这也可能导致其他方面的性能下降，并且由于该模型的虚构性，可能会出现幻觉问题。
• Stheno：与Sao的合并尝试显示出了一定的潜力，但目前结果还不够稳定。通过进一步的优化，可能会产生更强大的模型。
• DynamicFactor：本模型的所有合并都基于Llama 2，但与DynamicFactor（对Llama 2的一种改进尝试）进行dare合并后，模型的指令能力和回复长度都有了显著提升。不过，回复的多样性有所下降。因此，如果能在两者之间取得平衡，可能会进一步提高模型的指令能力和推理能力。