GLM4-9B-Neon-v2開源角色扮演模型 - 流暢體驗搭配優美文筆免費享

首頁

GLM4 9B Neon V2

由allura-org開發

基於GLM-4-9B-0414的角色扮演微調模型，提供流暢的角色扮演體驗和優美的文筆。

大型語言模型

Transformers

英語開源協議:MIT #角色扮演優化 #長上下文支持(16k)#QLoRA高效微調

下載量 39

發布時間 : 4/26/2025

模型概述

這是一個基於GLM-4-9B-0414大語言模型微調的角色扮演模型，具有鮮明的個性和流暢的對話能力，特別適合角色扮演和短篇故事生成。

模型特點

流暢的角色扮演體驗

模型經過專門優化，提供流暢自然的角色扮演對話體驗

優美文筆

生成文本質量高，具有獨特的文風

長上下文支持

支持16k tokens的長上下文窗口

高效訓練

採用QLoRA和CCE技術優化訓練效率

模型能力

角色扮演對話生成

短篇故事創作

長文本生成

JSON格式系統提示處理

使用案例

娛樂

角色扮演遊戲

用於遊戲中的NPC對話生成

提供個性鮮明的角色互動體驗

創意寫作

短篇故事創作

輔助作家進行創意寫作

生成高質量的故事片段

🚀 GLM-4-9B-0414 Neon v2

GLM-4-9B-0414的角色扮演（RP）微調模型。體驗良好，富有個性，不過有時有點古怪。語言表達優美，不像Claude或Gemini的風格。不過，它似乎不太適應過長的系統提示或角色卡，而更喜歡JSON格式的系統提示。

該模型由Auri訓練。

相關圖片圖片作者：CalamitousFelicitousness

🚀 快速開始

本模型是GLM-4-9B-0414的RP微調版本，具有獨特的個性和優美的語言表達。以下是一些使用該模型的基本信息。

✨ 主要特性

富有個性：模型在交互中展現出豐富的個性，使對話更生動有趣。
語言優美：生成的文本具有良好的散文風格，區別於Claude和Gemini。
格式偏好：對JSON格式的系統提示有較好的響應，不太適應過長的系統提示或角色卡。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

模型響應GLM4指令格式，與基礎模型完全相同。由於後端難以自動添加BOS令牌，因此需要手動添加。Jinja模板適用於聊天完成。

[gMASK]<sop><|system|>
{system_prompt}<|user|>
{prompt}<|assistant|>

高級用法

文檔未提及高級用法的代碼示例，故跳過此部分。

📚 詳細文檔

訓練說明

模型在包含7700萬個合成RP和短篇小說生成數據標記的數據集上進行了一個週期的訓練。在由OwenArli慷慨提供的2xRTX 3090工作站上，訓練大約耗時11小時。訓練配置採用了一些合理的默認設置，使用QLoRA和CCE進行了大量的內存使用優化，在48GB內存中可以很好地容納16k標記，還有一些剩餘空間。不過，評估/損失方面似乎存在問題，原因尚不清楚，否則訓練過程很順利。

非常感謝ArliAI提供計算資源並參與此次訓練！

格式要求

模型響應GLM4指令格式，與基礎模型完全相同。後端難以自動添加BOS令牌，因此需要手動添加。Jinja模板適用於聊天完成。

[gMASK]<sop><|system|>
{system_prompt}<|user|>
{prompt}<|assistant|>

示例導入

適用於SillyTavern的示例主導入（使用Steelskull的Shingane-v1系統提示）

🔧 技術細節

訓練數據

allura-org/Celeste-Filtered
allura-org/neon-41k
EVA-UNIT-01/Lilith-v0.2

基礎模型

THUDM/GLM-4-9B-0414

訓練配置

以下是Axolotl配置的詳細信息：

查看Axolotl配置

# 模型
base_model: /home/owen/models/GLM-4-9B-0414
strict: false
model_type: AutoModelForCausalLM

# Liger內核和CCE（優化）
plugins:
  - axolotl.integrations.liger.LigerPlugin
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
liger_rope: false
liger_rms_norm: false
liger_glu_activation: false
liger_fused_linear_cross_entropy: false
cut_cross_entropy: true

# 輸出和HuggingFace
output_dir: ./GLM-9B-Neon-v2
hub_model_id: AuriAetherwiing/GLM-9B-Neon-v2-LoRA
hf_use_auth_token: true
hub_strategy: "all_checkpoints"

# WandB
wandb_project: allura-org
wandb_entity:
wandb_name: GLM-9B-Neon-v2

# === 數據配置 ===

# 數據
#chat_template: chatml
#train_on_inputs: false
group_by_length: false
datasets:
  - path: ./Neon/neon.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value
  - path: ./Neon/S2.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value
  - path: ./Neon/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value

dataset_prepared_path: ./lora_last_run_prepared

## 評估
val_set_size: 0.01
evals_per_epoch: 2
eval_table_size:
eval_max_new_tokens: 128

# 技術方面
sequence_len: 16384
save_safetensors: true
saves_per_epoch: 2
logging_steps: 1
#special_tokens:
#  pad_token: <pad>
# 量化
bf16: auto
fp16:
tf32: false
## 對於LoRA
load_in_8bit: false
load_in_4bit: true

# LoRA
peft_use_rslora: false
peft_use_dora: false # 更好但更慢
adapter: qlora # lora或qlora
lora_model_dir:
lora_r: 64 # 64對於大多數指令訓練是最優的
lora_alpha: 64
lora_dropout: 0.1
lora_target_linear: true
lora_fan_in_fan_out:
lora_target_modules:

# loraplus_lr_ratio: 8 # 有助於更快收斂，但會使模型不穩定
#loraplus_lr_embedding:

# 訓練超參數
# max_steps:
num_epochs: 1

# 抗過擬合和穩定性
weight_decay: 0.01
max_grad_norm: 1.0

## 學習率
warmup_ratio: 0.05
learning_rate: 1e-5
lr_scheduler: rex
#lr_scheduler_kwargs:
#    min_lr: 0.0000024
optimizer: adamw_torch # 通常是adamw_torch或paged_adamw_8bit

## 批量大小
gradient_accumulation_steps: 32      # 更有效的批量大小 - 通常訓練更穩定。MBS也會加快訓練速度。
micro_batch_size: 1          # 每個GPU的批量大小 = micro_batch_size * gradient_accumulation_steps
eval_batch_size: 1

# 優化
pad_to_sequence_len: true
sample_packing: true
eval_sample_packing: false
flash_attention: true
xformers_attention:
gradient_checkpointing:
gradient_checkpointing_kwargs:
   use_reentrant: false
   
# 設置為可用GPU數量的除數（> 1）
#sequence_parallel_degree: 2  # 在4個GPU上分割序列
# 可選；跨鍵維度的步長。較大的值使用更多內存，但應使訓練更快。
#heads_k_stride: 1
# 可選；"varlen_llama3"、"batch_ring"、"batch_zigzag"、"batch_stripe"之一。當 `sample_packing: true` 時默認為
# "varlen_llama3"，否則默認為 "batch_ring"。
#ring_attn_func:
   
# deepspeed: /home/owen/axolotl/deepspeed_configs/zero3_bf16_cpuoffload_all.json

fsdp:
  - full_shard
  - auto_wrap
fsdp_config:
  fsdp_limit_all_gathers: true
  fsdp_sync_module_states: true
  fsdp_offload_params: false
  fsdp_use_orig_params: false
  fsdp_cpu_ram_efficient_loading: true
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_transformer_layer_cls_to_wrap: Glm4DecoderLayer
  fsdp_state_dict_type: FULL_STATE_DICT
  fsdp_sharding_strategy: FULL_SHARD
  fsdp_activation_checkpointing: true