Wanabi Mini 12b GGUF

🚀 wanabi_mini_12b_GGUF

wanabi_mini_12b_GGUF 是一款專門為小說寫作輔助進行微調的日語大規模語言模型。我們提供了一個功能與 wanabi-24B 相當，但更易於廣大用戶使用的模型。

該模型基於 mistralai/Mistral-Nemo-Base-2407 構建，雖然其數據集規模小於 24B 版本，但它使用了更高質量的日語小說相關文本數據進行訓練。其目標是支持小說寫作的各個流程，從構思創意、生成正文、延續上下文內容，到 創意插值 等。

• 提供形式：目前僅提供 GGUF 格式。我們準備了多個適用於 VRAM 8GB 及以上消費級 GPU 的量化版本。所有量化模型均使用特性校準數據進行 imatrix 量化。
• 特點：與 24B 版本相比，該模型使用了更高質量的數據集進行訓練，有望在響應性和特定任務的準確性方面有所提升。

🚀 快速開始

本模型強烈建議與專用桌面應用程序 Project Wannabe 配合使用。Project Wannabe 提供了一個 GUI 界面，旨在充分發揮 wanabi_mini_12b_GGUF 的能力，讓用戶可以直觀地使用以下介紹的各項功能。

✨ 主要特性

新增特性

wanabi_mini_12b_GGUF 在 24B 版本的主要功能基礎上，新增了以下特性：

1. 創意插值功能（新增）
   • 目的：在 Project Wannabe 的“詳細信息”標籤中，如果小說創意所需的所有項目（標題、關鍵詞、體裁、劇情簡介、設定、情節）都已輸入，該功能將基於這些信息生成更詳細、深入的創意和情節發展提示。
   • 應用場景：在創意生成（IDEA）任務中，滿足特定條件時觸發。

基本特性

本模型提供與 wanabi-24B 類似的基本小說寫作輔助功能：

1. 作者筆記功能
   • 目的：通過描述接下來大約 1000 字內即將發生的情節、行動、情感描寫等近期內容，更精細地引導後續文本的生成。
   • 應用場景：融入到後續內容生成（CONT）任務的提示中。
2. 評級功能
   • 目的：指定生成內容的評級（general 或 r18）。
   • 應用場景：在所有任務（GEN、CONT、IDEA）的指令末尾添加 評級: {指定值}。
3. 對話量指定功能
   • 目的：從“無指定”“少”“稍少”“普通”“稍多”“多”中選擇生成文本中對話的比例。（當前版本尚未完全實現，此功能是為未來版本考慮的。）
   • 應用場景：當選擇“無指定”以外的選項時，在正文生成（GEN）和後續內容生成（CONT）任務的提示輸入部分（參考信息塊內）會包含 # 對話量: {指定值}。
4. 正文生成（GEN）
   • 根據給定的指令，以及可選的元數據（標題、關鍵詞、體裁、劇情簡介、設定、情節）、對話量 和 評級 生成小說正文。
5. 後續內容生成（CONT）
   • 考慮給定的正文、可選的元數據、對話量、評級 和 作者筆記，生成後續內容。
   • 提示結構採用與 wanabi - 24B v0.1 類似的改進形式。
6. 創意生成（IDEA）
   • 根據可選的部分元數據（或無）和 評級 生成小說創意（標題、關鍵詞、體裁、劇情簡介、設定、情節）。
   • 創意插值功能 可在輸入信息豐富時生成更詳細的創意。

🔧 技術細節

基礎模型

• mistralai/Mistral-Nemo-Base-2407

訓練框架

• LLaMA-Factory

訓練方法

• 方法：有監督微調（SFT）
• 量化與適配器：LoRA
  • lora_rank：128
  • lora_alpha：256
  • lora_dropout：0.05
  • lora_target：all（所有線性層）
• 精度：bf16
• 序列長度：32768
• 批量大小：per_device_train_batch_size = 1，gradient_accumulation_steps = 24（有效批量大小 24）
• 優化：
  • 優化器：PagedAdamW（8 位）（optim: paged_adamw_8bit）
  • Flash Attention 2：啟用（flash_attn: fa2）
  • Unsloth 梯度檢查點：啟用（use_unsloth_gc: true）
  • Liger 內核：啟用（enable_liger_kernel: true）
  • 權重衰減：0.01（weight_decay: 0.01）
• 學習率：
  • learning_rate：4.0e - 5
  • lr_scheduler_type：cosine_with_restarts
  • lr_scheduler_kwargs：{"num_cycles": 1}
  • warmup_ratio：0.03
• 其他：
  • num_train_epochs：1

📚 詳細文檔

提示格式（mistral_small 模板）

本模型使用 LLaMA - Factory 的 mistral_small 聊天模板格式進行訓練。推理時也建議使用相同的格式。如果使用 Project Wannabe，則無需關注此格式。由於其基本格式與 wanabi-24B 相同，此處省略詳細說明。

• 新功能：創意插值

  在 Project Wannabe 的“詳細信息”標籤中，當標題、關鍵詞、體裁、劇情簡介、設定、情節都已輸入時，執行創意生成操作，模型將利用這些豐富的信息，嘗試生成更詳細、具體的創意（例如，深入挖掘角色、提出子情節、補充世界觀說明等）。此功能無需特殊的提示更改，會根據輸入信息的數量和質量自動調整。

限制與注意事項

⚠️ 重要提示

• 開發中的模型：本模型目前仍在開發中，其性能和穩定性可能會在未來版本中得到提升。
• 偏差：由於訓練數據的特性，生成的內容可能會偏向特定的體裁、表達方式和情節發展。
• 不適當內容：由於訓練數據包含各種文本，可能會生成令人不適的內容。儘管我們嘗試通過評級功能進行控制，但並不完全可靠。
• 質量限制：生成文本的多樣性、連貫性和上下文跟隨能力存在一定限制。
• 使用注意：本模型僅用於研究和實驗目的。嚴禁將其用於非法目的或侵犯他人權利的目的。
• 自行承擔責任：開發者對使用本模型產生的任何結果不承擔任何責任。

📄 許可證

本模型遵循 Apache - 2.0 許可證（基於基礎模型）。