Opus V1.2 Llama 3 8b
专为故事创作与角色扮演优化的Llama 3 8B模型,支持可控叙事和交互式体验
下载量 21
发布时间 : 4/19/2024
模型简介
基于Llama 3 8B架构优化的创意写作模型,擅长生成连贯的故事发展和生动的角色互动
模型特点
扩展版ChatML格式支持
采用特殊提示格式实现多角色视角叙事控制
长上下文记忆
支持最长31000token的上下文窗口,保持长篇叙事连贯性
可控叙事生成
通过系统提示和用户指令精确控制故事发展方向
模型能力
故事续写
角色扮演对话
情节概要生成
角色设定创作
文风分析
大纲转章节
使用案例
创意写作
奇幻小说创作
根据用户提供的故事设定自动生成连贯的奇幻冒险情节
生成符合设定风格的多章节叙事文本
角色互动场景
模拟多个角色间的自然对话和互动
生成符合角色性格的对话和行为描述
内容分析
故事梗概提炼
从长篇文本中提取核心情节要点
生成50-200字不等的精炼摘要
角色特征分析
解析文本中角色的性格特点和背景故事
生成50字左右的角色描述
🚀 Llama 3 DreamGen Opus
用于(可引导)故事写作和角色扮演的模型,为创作故事和进行角色扮演提供强大支持。
🚀 快速开始
本模型存在一些问题,请使用以下预览模型代替:
如果模型无法停止生成输出,请阅读此讨论。

用于**(可引导)故事写作和角色扮演**的模型。
所有Opus V1模型,包括量化模型。
✨ 主要特性
本模型的主要目标是在故事写作和角色扮演方面表现出色,同时也能够处理一些与写作相关的任务以及提供一般性的辅助。
📚 详细文档
资源
- Opus V1提示指南,包含许多(交互式)示例和可复制的提示。
- Google Colab,用于使用
opus-v1.2-7b
进行交互式角色扮演。 - Python代码,用于正确格式化提示。
- 加入Discord社区,以提前访问新模型。
提示
模型使用扩展版的ChatML。
<|im_start|>system
(此处为正确格式的故事描述)
(通常包括情节描述、风格描述和角色信息)<|im_end|>
<|im_start|>user
(你关于故事如何继续的指令)<|im_end|>
<|im_start|>text names= Alice
(从Alice角色角度的故事续写)<|im_end|>
<|im_start|>text
(无特定角色的故事续写(纯叙述))<|im_end|>
<|im_start|>user
(你关于故事如何继续的指令)<|im_end|>
<|im_start|>text names= Bob
(从Bob角色角度的故事续写)<|im_end|>
Opus V1扩展部分是增加了text
角色,以及角色名称的添加/修改。
请注意以下几点:
text
消息可以(但不必须)有names
,名称用于在角色扮演中指示“活跃”角色。- 可以有多个连续的
text
角色消息,特别是涉及名称时。 - 一条消息可以附带多个名称。
- 名称的格式为
names= {{name[0]}}; {{name[1]}}
,注意names=
和;
后面的空格。这种空格格式能使名称的分词更自然。
不同任务的提示方式
可引导的故事写作和角色扮演
- 故事写作提示指南
- 角色扮演提示指南
- 输入:
- 系统提示:你提供故事/角色扮演描述,包括:
- 情节描述
- 风格描述
- 角色及其描述
- 对话轮次:
- 文本/消息轮次:代表故事或角色扮演的一部分
- 指令:告知模型接下来应该发生什么
- 系统提示:你提供故事/角色扮演描述,包括:
- 输出:故事/角色扮演的续写。
故事情节总结
- 提示指南
- 输入:一个故事或故事的几章。
- 输出:故事或章节的描述。
示例
[短篇小说](https://www.libraryofshortstories.com/onlinereader/the-last-incantation)的50字总结
强大的魔法师Malygris用死灵法术从坟墓中召唤出死去已久的爱人Nylissa,但见到她后,他意识到她已不是记忆中的样子,开始质疑爱、记忆和魔法的力量。
[短篇小说](https://www.libraryofshortstories.com/onlinereader/the-last-incantation)的200字总结
故事是一个黑暗奇幻故事,背景设定在Susran城,强大的魔法师Malygris住在圆锥形山顶的塔中。他精通各种巫术和死灵法术,却被深深的倦怠和忧郁所困扰。他在对年轻时爱过的女孩Nylissa的回忆中寻求慰藉。有一天,他用死灵法术召唤出Nylissa的灵魂,但看到她后,他越来越失望。他注意到她的外貌和行为与记忆中的她有细微差别,开始怀疑这是否还是他曾经认识的Nylissa,还是只是魔法制造的幻觉。随着他陷入这种不确定中,他越来越沮丧,对生活也越来越失望。他意识到即使魔法也无法带回过去,无法让他真正快乐。最后,他驱散了Nylissa的灵魂,回到孤独的塔中,接受了自己作为一个年老疲惫巫师的命运。
[CNN新闻文章](https://edition.cnn.com/2024/02/29/health/pets-diseases-viruses-bacteria-wellness/index.html)的150字总结
文章讨论了近期动物传播疾病导致的人类死亡事件,特别是阿拉斯加痘和腺鼠疫。急诊医生、前巴尔的摩卫生专员Leana Wen博士解释了家养宠物将疾病传播给人类的各种方式,包括粪口传播、抓咬以及蜱虫、跳蚤和蚊子等媒介传播的疾病。Wen强调了给宠物接种疫苗、保持清洁以及采取常识性预防措施以减少疾病传播的重要性。她还建议免疫功能低下的人、婴儿和孕妇在与动物互动时应格外小心。
[CNN新闻文章](https://edition.cnn.com/2024/02/29/health/pets-diseases-viruses-bacteria-wellness/index.html)的50字总结
一位医生讨论了动物将疾病传播给人类的风险,重点是猫和狗等家养宠物。他们强调了接种疫苗、保持卫生和定期兽医护理以预防这些疾病的重要性。
故事角色描述
- 提示指南
- 输入:一个故事或故事的几章,一组角色。
- 输出:角色的描述。
示例
[这个故事](https://www.libraryofshortstories.com/onlinereader/the-last-incantation)中Malygris角色的50字描述
Malygris是一位古老而强大的魔法师,特征是长长的白胡子、冰冷的绿眼睛和紫色长袍。他精通死灵法术,拥有大量禁忌魔法知识,但被深深的忧郁和倦怠所困扰。
[这个故事](https://www.libraryofshortstories.com/onlinereader/the-pearl-of-love)中王子角色的50字描述
王子是一个忠诚且有决心的人,因对已故王后的爱而充满动力。起初他被描述为优雅的青年,随着年龄增长,对爱的执着使他变得庄重而专注。
故事风格描述
- 提示指南
- 输入:一个故事或故事的几章。
- 输出:故事风格的描述。
[这个故事](https://www.libraryofshortstories.com/onlinereader/the-last-incantation)的风格描述
故事采用描述性和唤起情感的写作风格,注重氛围和背景设定。作者使用生动详细的语言营造出时空感,并运用各种文学手法,如明喻、隐喻和典故,增强叙事的氛围和基调。句子结构多样,长短句结合,使散文具有节奏感。
[这个故事](https://www.libraryofshortstories.com/onlinereader/the-pearl-of-love)的风格描述
写作风格描述性强且富有感染力,注重爱的珍珠的美丽和宏伟。作者使用生动的意象和感官细节营造出丰富而沉浸式的氛围。语气崇敬而沉思,反映了王子对王后的深爱以及他为纪念她而创造永恒纪念碑的决心。
故事描述转章节描述
- 提示指南
- 输入:简要的情节描述和所需的章节数。
- 输出:每个章节的描述。
采样参数
对于故事写作和角色扮演,我建议使用基于“Min P”的采样方法,min_p
范围在[0.01, 0.1]
,temperature
范围在[0.5, 1.5]
,具体可根据个人喜好调整。一个不错的起始点是min_p=0.1; temperature=0.8
。
你也可以设置存在、频率和重复惩罚,特别是在较低温度下。
数据集
微调数据集包含约1亿个可引导的故事写作、角色扮演、写作辅助和通用辅助示例的标记。每个示例最长可达31000个标记。
所有故事写作和角色扮演示例均基于人类编写的文本。
运行模型
该模型应与任何支持基础模型的软件兼容,但要注意提示和分词。
我建议使用以下模型版本:
- 7B:无量化 (opus-v1.2-7b)
- 34B:无量化 (opus-v1-34b) 或 awq (opus-v1-34b-awq)
- 34B:无量化 (opus-v1.2-70b) 或 awq (opus-v1.2-70b-awq)
在DreamGen.com上免费运行
你可以在dreamgen.com上免费运行模型 —— 你可以使用内置的用户界面进行故事写作和角色扮演,或使用API。
本地运行
- 确保你的提示尽可能接近Opus V1
- vLLM
- Google Colab:这是一个简单的交互式Google Colab,用于使用7B模型进行角色扮演,应该可以在T4 GPU上运行。
- 代码:这是一个用于一个硬编码场景的交互式聊天的简单脚本。
- SillyTavern
- DreamGen的官方SillyTavern文档 —— 适用于API和本地模型
- SillyTavern(暂存版)内置了用于角色扮演的DreamGen预设
- 其他预设可在此处找到,v2版本由@MarinaraSpaghetti提供
- 确保取消选择
Skip special tokens
,否则无法正常工作 - 这只是对Opus V1提示的近似尝试,不会完美
- 专门为内置DreamGen预设重写的角色卡:
- Seraphina(基于默认的Seraphina卡)
- Lara Lightland(基于Deffcolony的卡)
- LM Studio
- HuggingFace
- 聊天模板
- 类似于ChatML,只是将“assistant”角色改为“text”角色。
已知问题
- 34B重复问题:34B模型有时会陷入重复相同单词或同义词的情况。这似乎是各种Yi 34B微调模型常见的问题。
- GGUF问题:分词可能会出错。一些用户报告说
<|im_start|>
和<|im_end|>
被分词为多个标记。此外,llama.cpp可能无法正确分词(Yi分词器与Llama 2分词器略有不同)。
许可证
本模型仅供个人使用,禁止其他用途。
⚠️ 重要提示
本模型存在问题,请使用指定的预览模型代替。如果模型无法停止生成输出,请阅读相关讨论。
💡 使用建议
运行模型时要注意提示和分词,可根据个人喜好调整采样参数。本地运行时,确保提示格式正确并正确处理特殊标记。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98