Wanabi Mini 12b GGUF

🚀 wanabi_mini_12b_GGUF

wanabi_mini_12b_GGUF 是一款专门为小说写作辅助进行微调的日语大规模语言模型。我们提供了一个功能与 wanabi-24B 相当，但更易于广大用户使用的模型。

该模型基于 mistralai/Mistral-Nemo-Base-2407 构建，虽然其数据集规模小于 24B 版本，但它使用了更高质量的日语小说相关文本数据进行训练。其目标是支持小说写作的各个流程，从构思创意、生成正文、延续上下文内容，到 创意插值 等。

• 提供形式：目前仅提供 GGUF 格式。我们准备了多个适用于 VRAM 8GB 及以上消费级 GPU 的量化版本。所有量化模型均使用特性校准数据进行 imatrix 量化。
• 特点：与 24B 版本相比，该模型使用了更高质量的数据集进行训练，有望在响应性和特定任务的准确性方面有所提升。

🚀 快速开始

本模型强烈建议与专用桌面应用程序 Project Wannabe 配合使用。Project Wannabe 提供了一个 GUI 界面，旨在充分发挥 wanabi_mini_12b_GGUF 的能力，让用户可以直观地使用以下介绍的各项功能。

✨ 主要特性

新增特性

wanabi_mini_12b_GGUF 在 24B 版本的主要功能基础上，新增了以下特性：

1. 创意插值功能（新增）
   • 目的：在 Project Wannabe 的“详细信息”标签中，如果小说创意所需的所有项目（标题、关键词、体裁、剧情简介、设定、情节）都已输入，该功能将基于这些信息生成更详细、深入的创意和情节发展提示。
   • 应用场景：在创意生成（IDEA）任务中，满足特定条件时触发。

基本特性

本模型提供与 wanabi-24B 类似的基本小说写作辅助功能：

1. 作者笔记功能
   • 目的：通过描述接下来大约 1000 字内即将发生的情节、行动、情感描写等近期内容，更精细地引导后续文本的生成。
   • 应用场景：融入到后续内容生成（CONT）任务的提示中。
2. 评级功能
   • 目的：指定生成内容的评级（general 或 r18）。
   • 应用场景：在所有任务（GEN、CONT、IDEA）的指令末尾添加 评级: {指定值}。
3. 对话量指定功能
   • 目的：从“无指定”“少”“稍少”“普通”“稍多”“多”中选择生成文本中对话的比例。（当前版本尚未完全实现，此功能是为未来版本考虑的。）
   • 应用场景：当选择“无指定”以外的选项时，在正文生成（GEN）和后续内容生成（CONT）任务的提示输入部分（参考信息块内）会包含 # 对话量: {指定值}。
4. 正文生成（GEN）
   • 根据给定的指令，以及可选的元数据（标题、关键词、体裁、剧情简介、设定、情节）、对话量 和 评级 生成小说正文。
5. 后续内容生成（CONT）
   • 考虑给定的正文、可选的元数据、对话量、评级 和 作者笔记，生成后续内容。
   • 提示结构采用与 wanabi - 24B v0.1 类似的改进形式。
6. 创意生成（IDEA）
   • 根据可选的部分元数据（或无）和 评级 生成小说创意（标题、关键词、体裁、剧情简介、设定、情节）。
   • 创意插值功能 可在输入信息丰富时生成更详细的创意。

🔧 技术细节

基础模型

• mistralai/Mistral-Nemo-Base-2407

训练框架

• LLaMA-Factory

训练方法

• 方法：有监督微调（SFT）
• 量化与适配器：LoRA
  • lora_rank：128
  • lora_alpha：256
  • lora_dropout：0.05
  • lora_target：all（所有线性层）
• 精度：bf16
• 序列长度：32768
• 批量大小：per_device_train_batch_size = 1，gradient_accumulation_steps = 24（有效批量大小 24）
• 优化：
  • 优化器：PagedAdamW（8 位）（optim: paged_adamw_8bit）
  • Flash Attention 2：启用（flash_attn: fa2）
  • Unsloth 梯度检查点：启用（use_unsloth_gc: true）
  • Liger 内核：启用（enable_liger_kernel: true）
  • 权重衰减：0.01（weight_decay: 0.01）
• 学习率：
  • learning_rate：4.0e - 5
  • lr_scheduler_type：cosine_with_restarts
  • lr_scheduler_kwargs：{"num_cycles": 1}
  • warmup_ratio：0.03
• 其他：
  • num_train_epochs：1

📚 详细文档

提示格式（mistral_small 模板）

本模型使用 LLaMA - Factory 的 mistral_small 聊天模板格式进行训练。推理时也建议使用相同的格式。如果使用 Project Wannabe，则无需关注此格式。由于其基本格式与 wanabi-24B 相同，此处省略详细说明。

• 新功能：创意插值

  在 Project Wannabe 的“详细信息”标签中，当标题、关键词、体裁、剧情简介、设定、情节都已输入时，执行创意生成操作，模型将利用这些丰富的信息，尝试生成更详细、具体的创意（例如，深入挖掘角色、提出子情节、补充世界观说明等）。此功能无需特殊的提示更改，会根据输入信息的数量和质量自动调整。

限制与注意事项

⚠️ 重要提示

• 开发中的模型：本模型目前仍在开发中，其性能和稳定性可能会在未来版本中得到提升。
• 偏差：由于训练数据的特性，生成的内容可能会偏向特定的体裁、表达方式和情节发展。
• 不适当内容：由于训练数据包含各种文本，可能会生成令人不适的内容。尽管我们尝试通过评级功能进行控制，但并不完全可靠。
• 质量限制：生成文本的多样性、连贯性和上下文跟随能力存在一定限制。
• 使用注意：本模型仅用于研究和实验目的。严禁将其用于非法目的或侵犯他人权利的目的。
• 自行承担责任：开发者对使用本模型产生的任何结果不承担任何责任。

📄 许可证

本模型遵循 Apache - 2.0 许可证（基于基础模型）。