Opus V1.2 Llama 3 8b

🚀 Llama 3 DreamGen Opus

用於（可引導）故事寫作和角色扮演的模型，為創作故事和進行角色扮演提供強大支持。

🚀 快速開始

本模型存在一些問題，請使用以下預覽模型代替：

• 基於Llama 3 8B Base的新訓練模型
• 基於Llama 3 8B Instruct的新訓練模型

如果模型無法停止生成輸出，請閱讀此討論。

用於**（可引導）故事寫作和角色扮演**的模型。
所有Opus V1模型，包括量化模型。

✨ 主要特性

本模型的主要目標是在故事寫作和角色扮演方面表現出色，同時也能夠處理一些與寫作相關的任務以及提供一般性的輔助。

📚 詳細文檔

資源

• Opus V1提示指南，包含許多（交互式）示例和可複製的提示。
• Google Colab，用於使用opus-v1.2-7b進行交互式角色扮演。
• Python代碼，用於正確格式化提示。
• 加入Discord社區，以提前訪問新模型。

提示

<|im_start|>system
(此處為正確格式的故事描述)
(通常包括情節描述、風格描述和角色信息)<|im_end|>
<|im_start|>user
(你關於故事如何繼續的指令)<|im_end|>
<|im_start|>text names= Alice
(從Alice角色角度的故事續寫)<|im_end|>
<|im_start|>text
(無特定角色的故事續寫（純敘述）)<|im_end|>
<|im_start|>user
(你關於故事如何繼續的指令)<|im_end|>
<|im_start|>text names= Bob
(從Bob角色角度的故事續寫)<|im_end|>

不同任務的提示方式

可引導的故事寫作和角色扮演

• 故事寫作提示指南
• 角色扮演提示指南
• 輸入：
  • 系統提示：你提供故事/角色扮演描述，包括：
    • 情節描述
    • 風格描述
    • 角色及其描述
  • 對話輪次：
    • 文本/消息輪次：代表故事或角色扮演的一部分
    • 指令：告知模型接下來應該發生什麼
• 輸出：故事/角色扮演的續寫。

故事情節總結

• 提示指南
• 輸入：一個故事或故事的幾章。
• 輸出：故事或章節的描述。

示例

故事角色描述

• 提示指南
• 輸入：一個故事或故事的幾章，一組角色。
• 輸出：角色的描述。

示例

故事風格描述

• 提示指南
• 輸入：一個故事或故事的幾章。
• 輸出：故事風格的描述。

故事描述轉章節描述

• 提示指南
• 輸入：簡要的情節描述和所需的章節數。
• 輸出：每個章節的描述。

採樣參數

對於故事寫作和角色扮演，我建議使用基於“Min P”的採樣方法，min_p範圍在[0.01, 0.1]，temperature範圍在[0.5, 1.5]，具體可根據個人喜好調整。一個不錯的起始點是min_p=0.1; temperature=0.8。

你也可以設置存在、頻率和重複懲罰，特別是在較低溫度下。

數據集

微調數據集包含約1億個可引導的故事寫作、角色扮演、寫作輔助和通用輔助示例的標記。每個示例最長可達31000個標記。

所有故事寫作和角色扮演示例均基於人類編寫的文本。

運行模型

該模型應與任何支持基礎模型的軟件兼容，但要注意提示和分詞。

我建議使用以下模型版本：

• 7B：無量化 (opus-v1.2-7b)
• 34B：無量化 (opus-v1-34b) 或 awq (opus-v1-34b-awq)
• 34B：無量化 (opus-v1.2-70b) 或 awq (opus-v1.2-70b-awq)

在DreamGen.com上免費運行

你可以在dreamgen.com上免費運行模型 —— 你可以使用內置的用戶界面進行故事寫作和角色扮演，或使用API。

本地運行

• 確保你的提示儘可能接近Opus V1
  • 無論使用哪種後端，正確格式化提示並確保分詞正常工作非常重要。
  • 閱讀提示指南
  • 閱讀提示格式化代碼
  • 確保<|im_start|>和<|im_end|>被正確分詞
• vLLM
  • Google Colab：這是一個簡單的交互式Google Colab，用於使用7B模型進行角色扮演，應該可以在T4 GPU上運行。
  • 代碼：這是一個用於一個硬編碼場景的交互式聊天的簡單腳本。
• SillyTavern
  • DreamGen的官方SillyTavern文檔 —— 適用於API和本地模型
  • SillyTavern（暫存版）內置了用於角色扮演的DreamGen預設
    • 其他預設可在此處找到，v2版本由@MarinaraSpaghetti提供
    • 確保取消選擇Skip special tokens，否則無法正常工作
    • 這只是對Opus V1提示的近似嘗試，不會完美
  • 專門為內置DreamGen預設重寫的角色卡：
    • Seraphina（基於默認的Seraphina卡）
    • Lara Lightland（基於Deffcolony的卡）
• LM Studio
  • 配置
  • 類似於ChatML，只是將“assistant”角色改為“text”角色。
  • LM Studio存在一個bug，如果你刪除消息或點擊“繼續”，詳情見此處。
• HuggingFace
  • 聊天模板
  • 類似於ChatML，只是將“assistant”角色改為“text”角色。

已知問題

• 34B重複問題：34B模型有時會陷入重複相同單詞或同義詞的情況。這似乎是各種Yi 34B微調模型常見的問題。
• GGUF問題：分詞可能會出錯。一些用戶報告說<|im_start|>和<|im_end|>被分詞為多個標記。此外，llama.cpp可能無法正確分詞（Yi分詞器與Llama 2分詞器略有不同）。

許可證

本模型僅供個人使用，禁止其他用途。

⚠️ 重要提示

本模型存在問題，請使用指定的預覽模型代替。如果模型無法停止生成輸出，請閱讀相關討論。

💡 使用建議

運行模型時要注意提示和分詞，可根據個人喜好調整採樣參數。本地運行時，確保提示格式正確並正確處理特殊標記。