🚀 wanabi-24B (预览版)

wanabi-24B 是一款专门为小说写作辅助进行微调的大规模语言模型的 预览版。该模型基于 mistralai/Mistral-Small-24B-Base-2501，使用日语小说相关文本数据进行训练。尤其擅长小说创意构思、根据设定生成正文以及按照上下文续写等任务。

🚀 快速开始

此模型强烈建议与专用桌面应用程序 Project Wannabe 配合使用。Project Wannabe 提供了一个图形用户界面（GUI），可充分发挥 wanabi-24B 的能力，无缝支持从创意生成到正文写作以及持续生成（无限生成）等功能。使用 Project Wannabe 时，用户无需关注下文所述的提示词格式，即可轻松利用模型的各项功能。

✨ 主要特性

• 专注小说创作：针对小说写作的特定需求进行微调，在小说创意构思、正文生成和续写等方面表现出色。
• 基于强大基础模型：以 mistralai/Mistral-Small-24B-Base-2501 为基础，继承了其广泛的知识和强大的语言理解能力。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

以下是不同任务的提示词格式示例：

本文生成 (GEN)

• 有元数据的格式示例：

<s>[INST] 请根据以下信息生成小说正文。

# 标题:
异世界转生后成了野狗这件事

# 关键词:
异世界转生
狗 [/INST] {生成的正文} </s>

• 无元数据的格式示例：

<s>[INST] 请自由生成一篇小说。 [/INST] {生成的正文} </s>

续文生成 (CONT)

• 有元数据的格式示例：

<s>[INST] 请根据参考信息续写以下文章。

【正文】

原以为被路人刺死了，没想到转生到异世界成了野狗。

【参考信息】

标题:

异世界转生后成了野狗这件事

关键词:

异世界转生 狗 放逐

• 无元数据的格式示例：

<s>[INST] 请续写以下文章。

【正文】

原以为被路人刺死了，没想到转生到异世界成了野狗。

创意生成 (IDEA)

• 部分有元数据的格式示例：

<s>[INST] 请根据以下信息生成一个完整的小说创意（标题、关键词、体裁、梗概、设定、情节）。

# 关键词:
异世界转生
狗 [/INST] # 标题:
异世界转生后成了野狗这件事

# 关键词:
异世界转生
狗
放逐
恋爱
NTR

# 体裁:
异世界幻想
低魔幻想

# 梗概:
原以为被路人刺死了，没想到转生到异世界成了野狗。起初绝望无比，但被善良的少女收留...

# 设定:
故事背景是一个剑与魔法的中世纪风格异世界。主人公拥有现代知识，却被困在狗的身体里。

# 情节:
与少女相遇 -> 城里的骚乱 -> 主人公特殊能力觉醒 -> 面临放逐危机 -> ... </s>

• 无元数据的格式示例：

<s>[INST] 请自由生成一个小说创意（标题、关键词、体裁、梗概、设定、情节）。 [/INST] {生成的完整创意} </s>

高级用法

在推理时，建议使用与训练时相同的 mistral_small 模板格式 (<s>[INST] {指令} {输入} [/INST] {输出} </s>)，以获得更好的生成效果。

📚 详细文档

训练详情

基础模型

• mistralai/Mistral-Small-24B-Base-2501
  • （训练时使用 unsloth/Mistral-Small-24B-Base-2501-bnb-4bit）

训练框架

• LLaMA-Factory

训练方法

• QLoRA (4-bit)
  • lora_rank: 128
  • lora_alpha: 256
  • lora_dropout: 0
  • lora_target: all（所有线性层）
• 精度：bf16
• 优化：
  • PagedAdamW (8-bit)
  • Flash Attention 2
  • Unsloth Gradient Checkpointing (use_unsloth_gc: true)
  • Liger Kernel (enable_liger_kernel: true)
• 训练参数：
  • learning_rate: 3.0e-5
  • lr_scheduler_type: cosine_with_restarts (num_cycles: 5)
  • warmup_ratio: 0.03
• 其他：
  • cutoff_len: 32768
  • per_device_train_batch_size: 1
  • gradient_accumulation_steps: 24

训练数据与任务

使用日语小说相关文本数据，进行了以下三种主要任务形式的指令微调（SFT）：

1. 本文生成 (GEN)：根据给定的指示和可选的元数据（标题、关键词、体裁、梗概、设定、情节）生成小说正文。
2. 续文生成 (CONT)：根据给定的正文和可选的元数据续写小说。
3. 创意生成 (IDEA)：根据部分或无元数据生成一个完整的小说创意，包括标题、关键词、体裁、梗概、设定和情节。

🔧 技术细节

本模型使用 mistral_small 模板格式进行训练和推理，这种格式有助于模型更好地理解用户的指令和输入，从而生成更符合要求的输出。

📄 许可证

本模型遵循 Apache-2.0 许可证（基于基础模型，如有需要可进行更改）。

⚠️ 重要提示

• Alpha 版本：本模型为开发中的预览版，性能和稳定性无法保证。
• 偏差问题：由于训练数据的特性，生成的内容可能会偏向特定的体裁、表达方式和情节发展。
• 不适当内容：训练数据包含多种文本，可能会生成不适合未成年人阅读或引起不适的内容。
• 质量限制：生成文本的多样性、连贯性和上下文跟随能力存在一定限制，尤其是在生成较长文本时可能会出现问题。
• 使用注意：本模型仅用于研究和实验目的，用户有责任遵守适用的法律法规。严禁将其用于非法目的或侵犯他人权利。
• 自担风险：开发者对使用本模型产生的任何结果不承担任何责任，请用户自行承担使用风险。

💡 使用建议

在使用本模型时，建议结合 Project Wannabe 应用程序，以获得更好的使用体验。同时，由于模型处于预览版阶段，生成结果可能存在一定的不稳定性，用户可根据实际需求对生成内容进行适当调整。

未来计划

• 原计划的预览版追加学习版已废止，preview_plus 是同一数据集的最后一个模型。
• 目前正在使用包含评分、台词量、作者注释的数据集进行训练。
• wanabi-24B vX：正在使用扩展数据集进行 SFT 训练，并将逐步发布。

(路线图可能会发生变化)