Opus V1.2 Llama 3 8b

🚀 Llama 3 DreamGen Opus

用于（可引导）故事写作和角色扮演的模型，为创作故事和进行角色扮演提供强大支持。

🚀 快速开始

本模型存在一些问题，请使用以下预览模型代替：

• 基于Llama 3 8B Base的新训练模型
• 基于Llama 3 8B Instruct的新训练模型

如果模型无法停止生成输出，请阅读此讨论。

用于**（可引导）故事写作和角色扮演**的模型。
所有Opus V1模型，包括量化模型。

✨ 主要特性

本模型的主要目标是在故事写作和角色扮演方面表现出色，同时也能够处理一些与写作相关的任务以及提供一般性的辅助。

📚 详细文档

资源

• Opus V1提示指南，包含许多（交互式）示例和可复制的提示。
• Google Colab，用于使用opus-v1.2-7b进行交互式角色扮演。
• Python代码，用于正确格式化提示。
• 加入Discord社区，以提前访问新模型。

提示

<|im_start|>system
(此处为正确格式的故事描述)
(通常包括情节描述、风格描述和角色信息)<|im_end|>
<|im_start|>user
(你关于故事如何继续的指令)<|im_end|>
<|im_start|>text names= Alice
(从Alice角色角度的故事续写)<|im_end|>
<|im_start|>text
(无特定角色的故事续写（纯叙述）)<|im_end|>
<|im_start|>user
(你关于故事如何继续的指令)<|im_end|>
<|im_start|>text names= Bob
(从Bob角色角度的故事续写)<|im_end|>

不同任务的提示方式

可引导的故事写作和角色扮演

• 故事写作提示指南
• 角色扮演提示指南
• 输入：
  • 系统提示：你提供故事/角色扮演描述，包括：
    • 情节描述
    • 风格描述
    • 角色及其描述
  • 对话轮次：
    • 文本/消息轮次：代表故事或角色扮演的一部分
    • 指令：告知模型接下来应该发生什么
• 输出：故事/角色扮演的续写。

故事情节总结

• 提示指南
• 输入：一个故事或故事的几章。
• 输出：故事或章节的描述。

示例

故事角色描述

• 提示指南
• 输入：一个故事或故事的几章，一组角色。
• 输出：角色的描述。

示例

故事风格描述

• 提示指南
• 输入：一个故事或故事的几章。
• 输出：故事风格的描述。

故事描述转章节描述

• 提示指南
• 输入：简要的情节描述和所需的章节数。
• 输出：每个章节的描述。

采样参数

对于故事写作和角色扮演，我建议使用基于“Min P”的采样方法，min_p范围在[0.01, 0.1]，temperature范围在[0.5, 1.5]，具体可根据个人喜好调整。一个不错的起始点是min_p=0.1; temperature=0.8。

你也可以设置存在、频率和重复惩罚，特别是在较低温度下。

数据集

微调数据集包含约1亿个可引导的故事写作、角色扮演、写作辅助和通用辅助示例的标记。每个示例最长可达31000个标记。

所有故事写作和角色扮演示例均基于人类编写的文本。

运行模型

该模型应与任何支持基础模型的软件兼容，但要注意提示和分词。

我建议使用以下模型版本：

• 7B：无量化 (opus-v1.2-7b)
• 34B：无量化 (opus-v1-34b) 或 awq (opus-v1-34b-awq)
• 34B：无量化 (opus-v1.2-70b) 或 awq (opus-v1.2-70b-awq)

在DreamGen.com上免费运行

你可以在dreamgen.com上免费运行模型 —— 你可以使用内置的用户界面进行故事写作和角色扮演，或使用API。

本地运行

• 确保你的提示尽可能接近Opus V1
  • 无论使用哪种后端，正确格式化提示并确保分词正常工作非常重要。
  • 阅读提示指南
  • 阅读提示格式化代码
  • 确保<|im_start|>和<|im_end|>被正确分词
• vLLM
  • Google Colab：这是一个简单的交互式Google Colab，用于使用7B模型进行角色扮演，应该可以在T4 GPU上运行。
  • 代码：这是一个用于一个硬编码场景的交互式聊天的简单脚本。
• SillyTavern
  • DreamGen的官方SillyTavern文档 —— 适用于API和本地模型
  • SillyTavern（暂存版）内置了用于角色扮演的DreamGen预设
    • 其他预设可在此处找到，v2版本由@MarinaraSpaghetti提供
    • 确保取消选择Skip special tokens，否则无法正常工作
    • 这只是对Opus V1提示的近似尝试，不会完美
  • 专门为内置DreamGen预设重写的角色卡：
    • Seraphina（基于默认的Seraphina卡）
    • Lara Lightland（基于Deffcolony的卡）
• LM Studio
  • 配置
  • 类似于ChatML，只是将“assistant”角色改为“text”角色。
  • LM Studio存在一个bug，如果你删除消息或点击“继续”，详情见此处。
• HuggingFace
  • 聊天模板
  • 类似于ChatML，只是将“assistant”角色改为“text”角色。

已知问题

• 34B重复问题：34B模型有时会陷入重复相同单词或同义词的情况。这似乎是各种Yi 34B微调模型常见的问题。
• GGUF问题：分词可能会出错。一些用户报告说<|im_start|>和<|im_end|>被分词为多个标记。此外，llama.cpp可能无法正确分词（Yi分词器与Llama 2分词器略有不同）。

许可证

本模型仅供个人使用，禁止其他用途。

⚠️ 重要提示

本模型存在问题，请使用指定的预览模型代替。如果模型无法停止生成输出，请阅读相关讨论。

💡 使用建议

运行模型时要注意提示和分词，可根据个人喜好调整采样参数。本地运行时，确保提示格式正确并正确处理特殊标记。