🚀 wanabi-24B

wanabi-24B 是一款專門為小說寫作輔助進行微調的日語大規模語言模型。該模型基於 mistralai/Mistral-Small-24B-Base-2501，並持續使用與日語小說相關的文本數據進行學習。其目標是支持小說寫作的各種流程，從構思創意到生成正文，再到根據上下文生成後續內容。

🚀 快速開始

本模型強烈建議與專用桌面應用程序 Project Wannabe 配合使用。Project Wannabe 提供了一個圖形用戶界面（GUI），旨在充分發揮 wanabi-24B 的能力，並讓用戶能夠直觀地使用以下所述的功能。

⚠️ 重要提示

若要使用當前發佈的 wanabi-24B v0.1 的所有功能（特別是作者筆記、新的續寫生成提示、評級、臺詞量指定），需要更新 Project Wannabe。使用 Project Wannabe 可以讓用戶在不考慮以下詳細提示格式的情況下，充分利用模型的功能。

✨ 主要特性

新功能

wanabi-24B v0.1 能夠執行以下主要任務，相比預覽版，功能有所增加和改進。

1. 作者筆記功能（新增）
   • 目的：通過描述接下來大約 1000 字內即將發生的情節、行動、心理描寫等近期內容，更細緻地引導後續文章的生成。這與展示小說整體結構的情節大綱不同。
   • 應用：該功能會被整合到續寫生成（CONT）任務的提示中。
2. 評級功能（新增）
   • 目的：指定生成內容的評級（general 或 r18）。
   • 應用：在所有任務（GEN、CONT、IDEA）的指令（Instruction）末尾會添加 評級: {指定值}。在 Project Wannabe 中，“詳細信息” 標籤中設置的值將優先使用。
3. 臺詞量指定功能（新增）
   • 目的：從 “無指定”“少”“稍少”“普通”“稍多”“多” 中選擇生成文章中臺詞的比例。（當前的 v0.1 版本尚未完全實現該功能，但這是為未來版本考慮的功能。）
   • 應用：當選擇了除 “無指定” 以外的選項時，正文生成（GEN）和續寫生成（CONT）任務的提示輸入（Input）部分（參考信息塊內）將包含 # 臺詞量: {指定值}。

主要功能與改進點

1. 正文生成（GEN）
   • 根據給定的指令，以及可選的元數據（標題、關鍵詞、體裁、劇情簡介、設定、情節大綱）、臺詞量 和 評級 生成小說正文。
   • 也可以在不提供元數據的情況下自由生成。
2. 續寫生成（CONT）
   • 在考慮給定的正文、可選的元數據、臺詞量、評級 以及新添加的 作者筆記 的基礎上，生成正文的後續內容。
   • 大幅改進提示結構：從傳統的 (參考信息/正文) → 響應 格式，改為 [ (參考信息/正文主要部分) → 作者筆記（可選） → 正文末尾約 3 行 ] → 響應 格式，旨在更易於捕捉上下文並提高可控性。在 Project Wannabe 的設置中，還可以更改參考信息和正文主要部分的順序。
3. 創意生成（IDEA）
   • 根據可選的部分元數據（或不提供元數據）和 評級，生成完整的小說創意（標題、關鍵詞、體裁、劇情簡介、設定、情節大綱）。
   • （臺詞量對此任務無影響。）

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

學習詳情

基礎模型

• mistralai/Mistral-Small-24B-Base-2501
  • （學習執行時使用 unsloth/Mistral-Small-24B-Base-2501-bnb-4bit）

學習框架

• LLaMA-Factory

學習方法

• 方法：監督微調（SFT）
• 量化・適配器：QLoRA（4 位）
  • lora_rank：128
  • lora_alpha：256
  • lora_dropout：0.05
  • lora_target：所有（所有線性層）
• 精度：bf16
• 序列長度：32768
• 批量大小：per_device_train_batch_size = 1，gradient_accumulation_steps = 24（有效批量大小 24）
• 優化：
  • 優化器：PagedAdamW（8 位）
  • Flash Attention 2：啟用（fa2）
  • Unsloth 梯度檢查點：啟用（use_unsloth_gc: true）
  • Liger 內核：啟用（enable_liger_kernel: true）
• 學習率：
  • learning_rate：3.0e - 5
  • lr_scheduler_type：cosine_with_restarts
  • lr_scheduler_kwargs：{"num_cycles": 5}
  • warmup_ratio：0.03

提示格式（mistral_small 模板）

本模型使用 LLaMA - Factory 的 mistral_small 聊天模板格式進行學習。在推理時，也建議使用相同的格式。如果使用 Project Wannabe，則無需考慮以下格式。

基本結構： <s>[INST]{Instruction}\n{Input}[/INST]{Output}</s>

• <s>，</s>：開始和結束標記
• [INST]，[/INST]：表示用戶指令的開始和結束的標籤（標籤和內容之間無空格）
• {Instruction}：任務指令（例如：“請生成一部小說。”） + 評級
• {Input}：任務所需的輸入信息（元數據、部分正文等）。指令和輸入之間用一個換行符（\n）分隔。
• {Output}：模型應生成的響應文本。

格式示例：

正文生成（GEN）

• 示例（有元數據和臺詞量）：

<s>[INST]請根據以下信息生成小說正文。 評級: general
# 標題:
星降之夜的魔法師
# 關鍵詞:
幻想
魔法學院
# 臺詞量: 多[/INST]{生成的正文}</s>

• 示例（無元數據）：

<s>[INST]請自由生成一部小說。 評級: general[/INST]{生成的正文}</s>

續寫生成（CONT）

• 示例（有參考信息和作者筆記）：

<s>[INST]請根據參考信息和正文，生成最後一段文字的自然續寫。 評級: general
【參考信息】

體裁:

校園喜劇

臺詞量: 普通

【正文】

走在走廊上時，突然從拐角處衝出來的同學和我撞在了一起。她手裡拿著大量的打印資料。 「哇啊，對不——」

【作者筆記】

碰撞的衝擊使打印資料在空中飛舞。 主人公急忙幫忙撿起。 對方女孩是個有點迷糊的人氣王。

她紅著臉說道。[/INST]{生成的後續正文}</s>

(注：【參考信息】和【正文】的順序可以在 Project Wannabe 的設置中更改)

• 示例（僅正文主要部分和末尾）：

<s>[INST]請根據正文，生成最後一段文字的自然續寫。 評級: r18
【正文】

在黑暗的小巷裡，我被他按在牆上，他熾熱的呼吸噴在我的耳邊。想反抗也無濟於事，力量的差距顯而易見。 「……住手……」 微弱的聲音被夜晚的黑暗吞噬。

他的嘴唇緩緩靠近——[/INST]{生成的後續正文}</s>

創意生成（IDEA）

• 示例（有部分元數據）：

<s>[INST]請根據以下信息生成完整的小說創意（標題、關鍵詞、體裁、劇情簡介、設定、情節大綱）。 評級: general
# 體裁:
科幻
賽博朋克[/INST]# 標題:
電子都市的孤獨偵探

# 關鍵詞:
賽博朋克
偵探
機器人
大企業
陰謀

# 體裁:
科幻
賽博朋克
硬漢派

# 劇情簡介:
在2077年暴雨傾盆的大都市裡，失意的偵探傑克接到了尋找失蹤機器人歌手的委託。隨著調查的深入，他逐漸捲入了操控城市的大企業的陰謀之中。

# 設定:
故事背景設定在一個超高科技與貧富差距並存的未來城市。人們通過腦植入物始終連接著網絡。機器人已經進化到與人類難以區分的程度。

# 情節大綱:
接受委託 -> 收集信息並詢問相關人員 -> 遭遇阻礙和襲擊 -> 發現接近核心的證據 -> 與大企業對決 -> 驚人的結局</s>

• 示例（無元數據）：

<s>[INST]請自由生成小說創意（標題、關鍵詞、體裁、劇情簡介、設定、情節大綱）。 評級: general[/INST]{生成的完整創意}</s>

🔧 技術細節

模型信息

訓練參數

• 訓練框架：LLaMA-Factory
• 訓練方法：監督微調（SFT），採用 QLoRA（4 位）量化和適配器
• 訓練精度：bf16
• 序列長度：32768
• 批量大小：實際批量大小為 24（per_device_train_batch_size = 1，gradient_accumulation_steps = 24）
• 優化器：PagedAdamW（8 位）
• 學習率：learning_rate = 3.0e - 5，採用 cosine_with_restarts 學習率調度器，num_cycles = 5，warmup_ratio = 0.03

模型版本

• 當前版本：v0.3（2025/05/16 發佈）
  • 開發狀態：模型仍在開發和訓練中，v0.3 的訓練量是 v0.1 的 4 倍。
  • 提供形式：目前僅提供 GGUF 形式，有 Q6_K、Q5_K_M、Q4_K_M、IQ4_XS 四種量化模型。v0.3 的所有模型均使用了自定義校準數據進行 imatrix 量化。
• v0.2（2025/05/09 發佈）
  • 開發狀態：模型仍在開發和訓練中，v0.2 的訓練進度是 v0.1 的 2.5 倍。
• v0.1
  • 開發狀態：模型仍在開發和訓練中，v0.1 是初始發佈版本。未來將隨著訓練檢查點的更新逐步進行版本升級，以提高性能。
  • 提供形式：目前僅提供 GGUF (Q4_K_M) 形式。非量化版本將在所有訓練完成後上傳。
  • 從預覽版的改進：感謝之前使用和測試預覽版的用戶提供的反饋。參考這些反饋，我們改進了數據集，並在本版本（v0.1）中引入了以下新功能和改進。

📄 許可證

本模型遵循 Apache - 2.0 許可證（基於基礎模型，暫定），可根據需要進行更改。

⚠️ 限制事項與注意點

• 開發中的模型：本模型目前仍在開發中，v0.1 是初始發佈版本。性能和穩定性可能會在未來版本中得到提升。感謝使用預覽版的用戶的支持。
• 偏差：由於訓練數據的特性，生成的內容可能會偏向特定的體裁、表達方式和情節發展。
• 不適當內容：由於訓練數據包含多種文本，可能會生成不適合未成年人閱讀或可能引起不適的內容。雖然我們嘗試通過評級功能進行控制，但並不完全可靠。
• 質量限制：生成文章的多樣性、連貫性和對上下文的遵循程度存在一定限制。特別是在生成較長文章時，可能會出現問題。建議嘗試使用作者筆記功能進行引導。
• 使用注意：本模型僅用於研究和實驗目的。用戶有責任遵守適用的法律和規定。嚴禁將其用於非法目的或侵犯他人權利的目的。
• 自擔風險：開發者對使用本模型產生的任何結果不承擔任何責任。請自行承擔使用風險。

未來計劃

• 持續學習：目前正在使用擴展數據集繼續進行訓練，並計劃在每個檢查點發布版本更新。
• 考慮小規模模型：也在考慮訓練更輕量級、更易於使用的小規模模型（如 12B 級）。

(路線圖可能會發生變化)