🚀 Estopia模型
Estopia是一个专注于优化指令格式下对话和散文回复的模型。它能很好地记住细节,在引导叙事方面表现出色,能根据指令引导或探索虚构故事。
🚀 快速开始
模型信息
属性 |
详情 |
基础模型 |
TheBloke/Llama - 2 - 13B - fp16 |
标签 |
mergekit、merge |
许可证 |
cc - by - nc - 4.0 |
模型简介
Estopia模型专注于提升指令格式下的对话和散文回复质量。作为附带优势,它在处理角色卡等内容时也有不错表现,能很好地记住细节。该模型主要聚焦于“引导叙事”,即通过指令引导或探索虚构故事,你可以作为AI叙事和填充细节的引导者。它经过了多种模式的测试,如指令、聊天、冒险和故事模式,尤其在指令和冒险模式中表现出色,故事模式也较为优秀。
使用示例
基础用法
Estopia模型主要使用Alpaca格式进行测试,但也可能对其他格式有一定理解。以下是一些测试过的格式示例:
### Instruction:
What colour is the sky?
### Response:
The sky is...
<Story text>
***
Write a summary of the text above
***
The story starts by...
使用Kobold Lite AI冒险模式:
User:Hello there!
Assistant:Good morning...
高级用法
以下是一些通用的设置建议:
- 温度(Temperature):0.8 - 1.2
- 最小概率(Min P):0.05 - 0.1
- 最大概率(Max P):0.92,如果最小概率大于0则为1
- 顶部K值(Top K):0
- 回复长度(Response length):通常建议高于常规值,例如常见选择为512。
- 注意:回复长度并不总是能保证达到设定值。有时,如果回复内容已完整表达,可能会更短;有时则可能超过该值,这主要取决于角色卡、指令等因素。
- 重复惩罚(Rep Pen):1.1
- 重复惩罚范围(Rep Pen Range):回复长度的2或3倍
- 停止标记(非必需,但在AI输出过多时可能有帮助):
##||$||---||$||ASSISTANT:||$||[End||$||</s>
- Kobold Lite的组合标记
##
---
ASSISTANT:
[End
</s>
上述设置通常能在遵循指令和发挥创造力之间取得较好平衡。一般来说,温度设置得越高,AI回复的创造力越强,但出现逻辑错误的概率也会增加。
模型构建过程
本模型的构建分为三个阶段,同时还有许多实验阶段,为简洁起见将跳过这些实验阶段。
第一阶段:EstopiaV9
该阶段的模型在遵循指令和回复的创造力方面表现出色,不过回复通常较短,输出范围也相对较窄,但能更好地传达细微差别。
merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
parameters:
weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
parameters:
weight: 0.02
- model: PygmalionAI/mythalion-13b
parameters:
weight: 0.10
- model: Undi95/Emerhyst-13B
parameters:
weight: 0.05
- model: CalderaAI/13B-Thorns-l2
parameters:
weight: 0.05
- model: KoboldAI/LLaMA2-13B-Tiefighter
parameters:
weight: 0.20
dtype: float16
第二阶段:EstopiaV13
此阶段生成的回复较长,但在合适的停止点后可能会继续输出,因为它更倾向于小说风格的散文。不过,它在中立性方面表现较好,并且保留了EstopiaV9的许多细节跟踪能力。
merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
parameters:
weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
parameters:
weight: 0.01
- model: chargoddard/rpguild-chatml-13b
parameters:
weight: 0.02
- model: PygmalionAI/mythalion-13b
parameters:
weight: 0.08
- model: CalderaAI/13B-Thorns-l2
parameters:
weight: 0.02
- model: KoboldAI/LLaMA2-13B-Tiefighter
parameters:
weight: 0.20
dtype: float16
第三阶段:合并EstopiaV9和EstopiaV13
此阶段使用了dare合并技术,尽可能保留两个模型的优点。
models:
- model: EstopiaV9
parameters:
weight: 1
density: 1
- model: EstopiaV13
parameters:
weight: 0.05
density: 0.30
merge_method: dare_ties
base_model: TheBloke/Llama-2-13B-fp16
parameters:
int8_mask: true
dtype: bfloat16
模型选择依据
- Undi95/UtopiaXL - 13B:是一个全面的基础模型,能够生成较长的回复,并且对细节的保留能力较好。
- Doctor - Shotgun/cat - v1.0 - 13b:是一个专注于医疗领域的模型,加入该模型可以使回复更具人性化,例如在心理学方面的回复。
- PygmalionAI/mythalion - 13b:是一个专注于角色扮演和指令的模型,能提高对角色卡细节的关注度和回复的多样性。
- Undi95/Emerhyst - 13B:是一个既适用于角色扮演又能生成较长回复的模型。其表现可能会有所波动,但有助于增加AI在叙事过程中回复的深度和可能性。
- CalderaAI/13B - Thorns - l2:是一个中立且非常专注的模型。它擅长聊天和遵循指令,对这些模式有很好的支持作用。
- KoboldAI/LLaMA2 - 13B - Tiefighter:是一个全面的模型,专注于故事写作和冒险模式。它能提升模型的创造力和散文质量,并支持冒险模式。
- chargoddard/rpguild - chatml - 13b:是一个角色扮演模型,引入了新的数据,并且提高了长篇叙事中的细节保留能力。
注意事项
⚠️ 重要提示
由于该模型融合了多种不同的模型,因此可能没有完美的序列结束标记,这是许多合并模型常见的问题。尽管已经尽力减少这种情况,但偶尔可能会出现行为异常的标记。你可以通过手动快速编辑来解决这个问题,之后模型应该能够正常处理。
💡 使用建议
聊天模式是该模型测试最少的领域之一。虽然它在聊天模式下表现尚可,但可能对角色卡的依赖较大。此外,该模型主要专注于叙事和散文,因此在指令或其他上下文中,如果引导它进行对话,它可能会主动发言。你可以通过添加指令来限制这种情况,或者使用聊天模式。
未来发展方向
- Llava:已经尝试将llava lora与该模型合并,并取得了一定的成功。虽然尚未进行深入测试,但可以获得基于图像的更多叙事回复。不过,这也可能导致其他方面的性能下降,并且由于该模型的虚构性,可能会出现幻觉问题。
- Stheno:与Sao的合并尝试显示出了一定的潜力,但目前结果还不够稳定。通过进一步的优化,可能会产生更强大的模型。
- DynamicFactor:本模型的所有合并都基于Llama 2,但与DynamicFactor(对Llama 2的一种改进尝试)进行dare合并后,模型的指令能力和回复长度都有了显著提升。不过,回复的多样性有所下降。因此,如果能在两者之间取得平衡,可能会进一步提高模型的指令能力和推理能力。