🚀 wanabi-24B

wanabi-24B 是一款专门为小说写作辅助进行微调的日语大规模语言模型。该模型基于 mistralai/Mistral-Small-24B-Base-2501，并持续使用与日语小说相关的文本数据进行学习。其目标是支持小说写作的各种流程，从构思创意到生成正文，再到根据上下文生成后续内容。

🚀 快速开始

本模型强烈建议与专用桌面应用程序 Project Wannabe 配合使用。Project Wannabe 提供了一个图形用户界面（GUI），旨在充分发挥 wanabi-24B 的能力，并让用户能够直观地使用以下所述的功能。

⚠️ 重要提示

若要使用当前发布的 wanabi-24B v0.1 的所有功能（特别是作者笔记、新的续写生成提示、评级、台词量指定），需要更新 Project Wannabe。使用 Project Wannabe 可以让用户在不考虑以下详细提示格式的情况下，充分利用模型的功能。

✨ 主要特性

新功能

wanabi-24B v0.1 能够执行以下主要任务，相比预览版，功能有所增加和改进。

1. 作者笔记功能（新增）
   • 目的：通过描述接下来大约 1000 字内即将发生的情节、行动、心理描写等近期内容，更细致地引导后续文章的生成。这与展示小说整体结构的情节大纲不同。
   • 应用：该功能会被整合到续写生成（CONT）任务的提示中。
2. 评级功能（新增）
   • 目的：指定生成内容的评级（general 或 r18）。
   • 应用：在所有任务（GEN、CONT、IDEA）的指令（Instruction）末尾会添加 评级: {指定值}。在 Project Wannabe 中，“详细信息” 标签中设置的值将优先使用。
3. 台词量指定功能（新增）
   • 目的：从 “无指定”“少”“稍少”“普通”“稍多”“多” 中选择生成文章中台词的比例。（当前的 v0.1 版本尚未完全实现该功能，但这是为未来版本考虑的功能。）
   • 应用：当选择了除 “无指定” 以外的选项时，正文生成（GEN）和续写生成（CONT）任务的提示输入（Input）部分（参考信息块内）将包含 # 台词量: {指定值}。

主要功能与改进点

1. 正文生成（GEN）
   • 根据给定的指令，以及可选的元数据（标题、关键词、体裁、剧情简介、设定、情节大纲）、台词量 和 评级 生成小说正文。
   • 也可以在不提供元数据的情况下自由生成。
2. 续写生成（CONT）
   • 在考虑给定的正文、可选的元数据、台词量、评级 以及新添加的 作者笔记 的基础上，生成正文的后续内容。
   • 大幅改进提示结构：从传统的 (参考信息/正文) → 响应 格式，改为 [ (参考信息/正文主要部分) → 作者笔记（可选） → 正文末尾约 3 行 ] → 响应 格式，旨在更易于捕捉上下文并提高可控性。在 Project Wannabe 的设置中，还可以更改参考信息和正文主要部分的顺序。
3. 创意生成（IDEA）
   • 根据可选的部分元数据（或不提供元数据）和 评级，生成完整的小说创意（标题、关键词、体裁、剧情简介、设定、情节大纲）。
   • （台词量对此任务无影响。）

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

文档未提供代码示例，故跳过此章节。

📚 详细文档

学习详情

基础模型

• mistralai/Mistral-Small-24B-Base-2501
  • （学习执行时使用 unsloth/Mistral-Small-24B-Base-2501-bnb-4bit）

学习框架

• LLaMA-Factory

学习方法

• 方法：监督微调（SFT）
• 量化・适配器：QLoRA（4 位）
  • lora_rank：128
  • lora_alpha：256
  • lora_dropout：0.05
  • lora_target：所有（所有线性层）
• 精度：bf16
• 序列长度：32768
• 批量大小：per_device_train_batch_size = 1，gradient_accumulation_steps = 24（有效批量大小 24）
• 优化：
  • 优化器：PagedAdamW（8 位）
  • Flash Attention 2：启用（fa2）
  • Unsloth 梯度检查点：启用（use_unsloth_gc: true）
  • Liger 内核：启用（enable_liger_kernel: true）
• 学习率：
  • learning_rate：3.0e - 5
  • lr_scheduler_type：cosine_with_restarts
  • lr_scheduler_kwargs：{"num_cycles": 5}
  • warmup_ratio：0.03

提示格式（mistral_small 模板）

本模型使用 LLaMA - Factory 的 mistral_small 聊天模板格式进行学习。在推理时，也建议使用相同的格式。如果使用 Project Wannabe，则无需考虑以下格式。

基本结构： <s>[INST]{Instruction}\n{Input}[/INST]{Output}</s>

• <s>，</s>：开始和结束标记
• [INST]，[/INST]：表示用户指令的开始和结束的标签（标签和内容之间无空格）
• {Instruction}：任务指令（例如：“请生成一部小说。”） + 评级
• {Input}：任务所需的输入信息（元数据、部分正文等）。指令和输入之间用一个换行符（\n）分隔。
• {Output}：模型应生成的响应文本。

格式示例：

正文生成（GEN）

• 示例（有元数据和台词量）：

<s>[INST]请根据以下信息生成小说正文。 评级: general
# 标题:
星降之夜的魔法师
# 关键词:
幻想
魔法学院
# 台词量: 多[/INST]{生成的正文}</s>

• 示例（无元数据）：

<s>[INST]请自由生成一部小说。 评级: general[/INST]{生成的正文}</s>

续写生成（CONT）

• 示例（有参考信息和作者笔记）：

<s>[INST]请根据参考信息和正文，生成最后一段文字的自然续写。 评级: general
【参考信息】

体裁:

校园喜剧

台词量: 普通

【正文】

走在走廊上时，突然从拐角处冲出来的同学和我撞在了一起。她手里拿着大量的打印资料。 「哇啊，对不——」

【作者笔记】

碰撞的冲击使打印资料在空中飞舞。 主人公急忙帮忙捡起。 对方女孩是个有点迷糊的人气王。

她红着脸说道。[/INST]{生成的后续正文}</s>

(注：【参考信息】和【正文】的顺序可以在 Project Wannabe 的设置中更改)

• 示例（仅正文主要部分和末尾）：

<s>[INST]请根据正文，生成最后一段文字的自然续写。 评级: r18
【正文】

在黑暗的小巷里，我被他按在墙上，他炽热的呼吸喷在我的耳边。想反抗也无济于事，力量的差距显而易见。 「……住手……」 微弱的声音被夜晚的黑暗吞噬。

他的嘴唇缓缓靠近——[/INST]{生成的后续正文}</s>

创意生成（IDEA）

• 示例（有部分元数据）：

<s>[INST]请根据以下信息生成完整的小说创意（标题、关键词、体裁、剧情简介、设定、情节大纲）。 评级: general
# 体裁:
科幻
赛博朋克[/INST]# 标题:
电子都市的孤独侦探

# 关键词:
赛博朋克
侦探
机器人
大企业
阴谋

# 体裁:
科幻
赛博朋克
硬汉派

# 剧情简介:
在2077年暴雨倾盆的大都市里，失意的侦探杰克接到了寻找失踪机器人歌手的委托。随着调查的深入，他逐渐卷入了操控城市的大企业的阴谋之中。

# 设定:
故事背景设定在一个超高科技与贫富差距并存的未来城市。人们通过脑植入物始终连接着网络。机器人已经进化到与人类难以区分的程度。

# 情节大纲:
接受委托 -> 收集信息并询问相关人员 -> 遭遇阻碍和袭击 -> 发现接近核心的证据 -> 与大企业对决 -> 惊人的结局</s>

• 示例（无元数据）：

<s>[INST]请自由生成小说创意（标题、关键词、体裁、剧情简介、设定、情节大纲）。 评级: general[/INST]{生成的完整创意}</s>

🔧 技术细节

模型信息

训练参数

• 训练框架：LLaMA-Factory
• 训练方法：监督微调（SFT），采用 QLoRA（4 位）量化和适配器
• 训练精度：bf16
• 序列长度：32768
• 批量大小：实际批量大小为 24（per_device_train_batch_size = 1，gradient_accumulation_steps = 24）
• 优化器：PagedAdamW（8 位）
• 学习率：learning_rate = 3.0e - 5，采用 cosine_with_restarts 学习率调度器，num_cycles = 5，warmup_ratio = 0.03

模型版本

• 当前版本：v0.3（2025/05/16 发布）
  • 开发状态：模型仍在开发和训练中，v0.3 的训练量是 v0.1 的 4 倍。
  • 提供形式：目前仅提供 GGUF 形式，有 Q6_K、Q5_K_M、Q4_K_M、IQ4_XS 四种量化模型。v0.3 的所有模型均使用了自定义校准数据进行 imatrix 量化。
• v0.2（2025/05/09 发布）
  • 开发状态：模型仍在开发和训练中，v0.2 的训练进度是 v0.1 的 2.5 倍。
• v0.1
  • 开发状态：模型仍在开发和训练中，v0.1 是初始发布版本。未来将随着训练检查点的更新逐步进行版本升级，以提高性能。
  • 提供形式：目前仅提供 GGUF (Q4_K_M) 形式。非量化版本将在所有训练完成后上传。
  • 从预览版的改进：感谢之前使用和测试预览版的用户提供的反馈。参考这些反馈，我们改进了数据集，并在本版本（v0.1）中引入了以下新功能和改进。

📄 许可证

本模型遵循 Apache - 2.0 许可证（基于基础模型，暂定），可根据需要进行更改。

⚠️ 限制事项与注意点

• 开发中的模型：本模型目前仍在开发中，v0.1 是初始发布版本。性能和稳定性可能会在未来版本中得到提升。感谢使用预览版的用户的支持。
• 偏差：由于训练数据的特性，生成的内容可能会偏向特定的体裁、表达方式和情节发展。
• 不适当内容：由于训练数据包含多种文本，可能会生成不适合未成年人阅读或可能引起不适的内容。虽然我们尝试通过评级功能进行控制，但并不完全可靠。
• 质量限制：生成文章的多样性、连贯性和对上下文的遵循程度存在一定限制。特别是在生成较长文章时，可能会出现问题。建议尝试使用作者笔记功能进行引导。
• 使用注意：本模型仅用于研究和实验目的。用户有责任遵守适用的法律和规定。严禁将其用于非法目的或侵犯他人权利的目的。
• 自担风险：开发者对使用本模型产生的任何结果不承担任何责任。请自行承担使用风险。

未来计划

• 持续学习：目前正在使用扩展数据集继续进行训练，并计划在每个检查点发布版本更新。
• 考虑小规模模型：也在考虑训练更轻量级、更易于使用的小规模模型（如 12B 级）。

(路线图可能会发生变化)