🚀 Estopia模型
Estopia是一個專注於優化指令格式下對話和散文回覆的模型。它能很好地記住細節,在引導敘事方面表現出色,能根據指令引導或探索虛構故事。
🚀 快速開始
模型信息
屬性 |
詳情 |
基礎模型 |
TheBloke/Llama - 2 - 13B - fp16 |
標籤 |
mergekit、merge |
許可證 |
cc - by - nc - 4.0 |
模型簡介
Estopia模型專注於提升指令格式下的對話和散文回覆質量。作為附帶優勢,它在處理角色卡等內容時也有不錯表現,能很好地記住細節。該模型主要聚焦於“引導敘事”,即通過指令引導或探索虛構故事,你可以作為AI敘事和填充細節的引導者。它經過了多種模式的測試,如指令、聊天、冒險和故事模式,尤其在指令和冒險模式中表現出色,故事模式也較為優秀。
使用示例
基礎用法
Estopia模型主要使用Alpaca格式進行測試,但也可能對其他格式有一定理解。以下是一些測試過的格式示例:
### Instruction:
What colour is the sky?
### Response:
The sky is...
<Story text>
***
Write a summary of the text above
***
The story starts by...
使用Kobold Lite AI冒險模式:
User:Hello there!
Assistant:Good morning...
高級用法
以下是一些通用的設置建議:
- 溫度(Temperature):0.8 - 1.2
- 最小概率(Min P):0.05 - 0.1
- 最大概率(Max P):0.92,如果最小概率大於0則為1
- 頂部K值(Top K):0
- 回覆長度(Response length):通常建議高於常規值,例如常見選擇為512。
- 注意:回覆長度並不總是能保證達到設定值。有時,如果回覆內容已完整表達,可能會更短;有時則可能超過該值,這主要取決於角色卡、指令等因素。
- 重複懲罰(Rep Pen):1.1
- 重複懲罰範圍(Rep Pen Range):回覆長度的2或3倍
- 停止標記(非必需,但在AI輸出過多時可能有幫助):
##||$||---||$||ASSISTANT:||$||[End||$||</s>
- Kobold Lite的組合標記
##
---
ASSISTANT:
[End
</s>
上述設置通常能在遵循指令和發揮創造力之間取得較好平衡。一般來說,溫度設置得越高,AI回覆的創造力越強,但出現邏輯錯誤的概率也會增加。
模型構建過程
本模型的構建分為三個階段,同時還有許多實驗階段,為簡潔起見將跳過這些實驗階段。
第一階段:EstopiaV9
該階段的模型在遵循指令和回覆的創造力方面表現出色,不過回覆通常較短,輸出範圍也相對較窄,但能更好地傳達細微差別。
merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
parameters:
weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
parameters:
weight: 0.02
- model: PygmalionAI/mythalion-13b
parameters:
weight: 0.10
- model: Undi95/Emerhyst-13B
parameters:
weight: 0.05
- model: CalderaAI/13B-Thorns-l2
parameters:
weight: 0.05
- model: KoboldAI/LLaMA2-13B-Tiefighter
parameters:
weight: 0.20
dtype: float16
第二階段:EstopiaV13
此階段生成的回覆較長,但在合適的停止點後可能會繼續輸出,因為它更傾向於小說風格的散文。不過,它在中立性方面表現較好,並且保留了EstopiaV9的許多細節跟蹤能力。
merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
parameters:
weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
parameters:
weight: 0.01
- model: chargoddard/rpguild-chatml-13b
parameters:
weight: 0.02
- model: PygmalionAI/mythalion-13b
parameters:
weight: 0.08
- model: CalderaAI/13B-Thorns-l2
parameters:
weight: 0.02
- model: KoboldAI/LLaMA2-13B-Tiefighter
parameters:
weight: 0.20
dtype: float16
第三階段:合併EstopiaV9和EstopiaV13
此階段使用了dare合併技術,儘可能保留兩個模型的優點。
models:
- model: EstopiaV9
parameters:
weight: 1
density: 1
- model: EstopiaV13
parameters:
weight: 0.05
density: 0.30
merge_method: dare_ties
base_model: TheBloke/Llama-2-13B-fp16
parameters:
int8_mask: true
dtype: bfloat16
模型選擇依據
- Undi95/UtopiaXL - 13B:是一個全面的基礎模型,能夠生成較長的回覆,並且對細節的保留能力較好。
- Doctor - Shotgun/cat - v1.0 - 13b:是一個專注於醫療領域的模型,加入該模型可以使回覆更具人性化,例如在心理學方面的回覆。
- PygmalionAI/mythalion - 13b:是一個專注於角色扮演和指令的模型,能提高對角色卡細節的關注度和回覆的多樣性。
- Undi95/Emerhyst - 13B:是一個既適用於角色扮演又能生成較長回覆的模型。其表現可能會有所波動,但有助於增加AI在敘事過程中回覆的深度和可能性。
- CalderaAI/13B - Thorns - l2:是一箇中立且非常專注的模型。它擅長聊天和遵循指令,對這些模式有很好的支持作用。
- KoboldAI/LLaMA2 - 13B - Tiefighter:是一個全面的模型,專注於故事寫作和冒險模式。它能提升模型的創造力和散文質量,並支持冒險模式。
- chargoddard/rpguild - chatml - 13b:是一個角色扮演模型,引入了新的數據,並且提高了長篇敘事中的細節保留能力。
注意事項
⚠️ 重要提示
由於該模型融合了多種不同的模型,因此可能沒有完美的序列結束標記,這是許多合併模型常見的問題。儘管已經盡力減少這種情況,但偶爾可能會出現行為異常的標記。你可以通過手動快速編輯來解決這個問題,之後模型應該能夠正常處理。
💡 使用建議
聊天模式是該模型測試最少的領域之一。雖然它在聊天模式下表現尚可,但可能對角色卡的依賴較大。此外,該模型主要專注於敘事和散文,因此在指令或其他上下文中,如果引導它進行對話,它可能會主動發言。你可以通過添加指令來限制這種情況,或者使用聊天模式。
未來發展方向
- Llava:已經嘗試將llava lora與該模型合併,並取得了一定的成功。雖然尚未進行深入測試,但可以獲得基於圖像的更多敘事回覆。不過,這也可能導致其他方面的性能下降,並且由於該模型的虛構性,可能會出現幻覺問題。
- Stheno:與Sao的合併嘗試顯示出了一定的潛力,但目前結果還不夠穩定。通過進一步的優化,可能會產生更強大的模型。
- DynamicFactor:本模型的所有合併都基於Llama 2,但與DynamicFactor(對Llama 2的一種改進嘗試)進行dare合併後,模型的指令能力和回覆長度都有了顯著提升。不過,回覆的多樣性有所下降。因此,如果能在兩者之間取得平衡,可能會進一步提高模型的指令能力和推理能力。