%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
ZH
GLM4 9B Neon V2
基于GLM-4-9B-0414的角色扮演微调模型，提供流畅的角色扮演体验和优美的文笔。
下载量 39
发布时间 : 4/26/2025
模型简介
这是一个基于GLM-4-9B-0414大语言模型微调的角色扮演模型，具有鲜明的个性和流畅的对话能力，特别适合角色扮演和短篇故事生成。
模型特点
流畅的角色扮演体验
模型经过专门优化，提供流畅自然的角色扮演对话体验
优美文笔
生成文本质量高，具有独特的文风
长上下文支持
支持16k tokens的长上下文窗口
高效训练
采用QLoRA和CCE技术优化训练效率
模型能力
角色扮演对话生成
短篇故事创作
长文本生成
JSON格式系统提示处理
使用案例
娱乐
角色扮演游戏
用于游戏中的NPC对话生成
提供个性鲜明的角色互动体验
创意写作
短篇故事创作
辅助作家进行创意写作
生成高质量的故事片段
🚀 GLM-4-9B-0414 Neon v2
GLM-4-9B-0414的角色扮演（RP）微调模型。体验良好，富有个性，不过有时有点古怪。语言表达优美，不像Claude或Gemini的风格。不过，它似乎不太适应过长的系统提示或角色卡，而更喜欢JSON格式的系统提示。
该模型由Auri训练。
图片作者：CalamitousFelicitousness
🚀 快速开始
本模型是GLM-4-9B-0414的RP微调版本，具有独特的个性和优美的语言表达。以下是一些使用该模型的基本信息。
✨ 主要特性
- 富有个性：模型在交互中展现出丰富的个性，使对话更生动有趣。
- 语言优美：生成的文本具有良好的散文风格，区别于Claude和Gemini。
- 格式偏好：对JSON格式的系统提示有较好的响应，不太适应过长的系统提示或角色卡。
📦 安装指南
文档未提及安装步骤，故跳过此章节。
💻 使用示例
基础用法
模型响应GLM4指令格式，与基础模型完全相同。由于后端难以自动添加BOS令牌，因此需要手动添加。Jinja模板适用于聊天完成。
[gMASK]<sop><|system|>
{system_prompt}<|user|>
{prompt}<|assistant|>
高级用法
文档未提及高级用法的代码示例，故跳过此部分。
📚 详细文档
训练说明
模型在包含7700万个合成RP和短篇小说生成数据标记的数据集上进行了一个周期的训练。在由OwenArli慷慨提供的2xRTX 3090工作站上，训练大约耗时11小时。训练配置采用了一些合理的默认设置，使用QLoRA和CCE进行了大量的内存使用优化，在48GB内存中可以很好地容纳16k标记，还有一些剩余空间。不过，评估/损失方面似乎存在问题，原因尚不清楚，否则训练过程很顺利。
非常感谢ArliAI提供计算资源并参与此次训练！
格式要求
模型响应GLM4指令格式，与基础模型完全相同。后端难以自动添加BOS令牌，因此需要手动添加。Jinja模板适用于聊天完成。
[gMASK]<sop><|system|>
{system_prompt}<|user|>
{prompt}<|assistant|>
推荐采样器
没有特别的要求，使用经典设置即可。
Temperature - 1
Min-P - 0.1
Repetition Penalty - 1.03
示例导入
适用于SillyTavern的示例主导入（使用Steelskull的Shingane-v1系统提示）
🔧 技术细节
训练数据
- allura-org/Celeste-Filtered
- allura-org/neon-41k
- EVA-UNIT-01/Lilith-v0.2
基础模型
- THUDM/GLM-4-9B-0414
训练配置
以下是Axolotl配置的详细信息：
查看Axolotl配置
# 模型
base_model: /home/owen/models/GLM-4-9B-0414
strict: false
model_type: AutoModelForCausalLM
# Liger内核和CCE（优化）
plugins:
- axolotl.integrations.liger.LigerPlugin
- axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
liger_rope: false
liger_rms_norm: false
liger_glu_activation: false
liger_fused_linear_cross_entropy: false
cut_cross_entropy: true
# 输出和HuggingFace
output_dir: ./GLM-9B-Neon-v2
hub_model_id: AuriAetherwiing/GLM-9B-Neon-v2-LoRA
hf_use_auth_token: true
hub_strategy: "all_checkpoints"
# WandB
wandb_project: allura-org
wandb_entity:
wandb_name: GLM-9B-Neon-v2
# === 数据配置 ===
# 数据
#chat_template: chatml
#train_on_inputs: false
group_by_length: false
datasets:
- path: ./Neon/neon.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
- path: ./Neon/S2.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
- path: ./Neon/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl
type: chat_template
field_messages: conversations
message_field_role: from
message_field_content: value
dataset_prepared_path: ./lora_last_run_prepared
## 评估
val_set_size: 0.01
evals_per_epoch: 2
eval_table_size:
eval_max_new_tokens: 128
# 技术方面
sequence_len: 16384
save_safetensors: true
saves_per_epoch: 2
logging_steps: 1
#special_tokens:
# pad_token: <pad>
# 量化
bf16: auto
fp16:
tf32: false
## 对于LoRA
load_in_8bit: false
load_in_4bit: true
# LoRA
peft_use_rslora: false
peft_use_dora: false # 更好但更慢
adapter: qlora # lora或qlora
lora_model_dir:
lora_r: 64 # 64对于大多数指令训练是最优的
lora_alpha: 64
lora_dropout: 0.1
lora_target_linear: true
lora_fan_in_fan_out:
lora_target_modules:
# loraplus_lr_ratio: 8 # 有助于更快收敛，但会使模型不稳定
#loraplus_lr_embedding:
# 训练超参数
# max_steps:
num_epochs: 1
# 抗过拟合和稳定性
weight_decay: 0.01
max_grad_norm: 1.0
## 学习率
warmup_ratio: 0.05
learning_rate: 1e-5
lr_scheduler: rex
#lr_scheduler_kwargs:
# min_lr: 0.0000024
optimizer: adamw_torch # 通常是adamw_torch或paged_adamw_8bit
## 批量大小
gradient_accumulation_steps: 32 # 更有效的批量大小 - 通常训练更稳定。MBS也会加快训练速度。
micro_batch_size: 1 # 每个GPU的批量大小 = micro_batch_size * gradient_accumulation_steps
eval_batch_size: 1
# 优化
pad_to_sequence_len: true
sample_packing: true
eval_sample_packing: false
flash_attention: true
xformers_attention:
gradient_checkpointing:
gradient_checkpointing_kwargs:
use_reentrant: false
# 设置为可用GPU数量的除数（> 1）
#sequence_parallel_degree: 2 # 在4个GPU上分割序列
# 可选；跨键维度的步长。较大的值使用更多内存，但应使训练更快。
#heads_k_stride: 1
# 可选；"varlen_llama3"、"batch_ring"、"batch_zigzag"、"batch_stripe"之一。当 `sample_packing: true` 时默认为
# "varlen_llama3"，否则默认为 "batch_ring"。
#ring_attn_func:
# deepspeed: /home/owen/axolotl/deepspeed_configs/zero3_bf16_cpuoffload_all.json
fsdp:
- full_shard
- auto_wrap
fsdp_config:
fsdp_limit_all_gathers: true
fsdp_sync_module_states: true
fsdp_offload_params: false
fsdp_use_orig_params: false
fsdp_cpu_ram_efficient_loading: true
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_transformer_layer_cls_to_wrap: Glm4DecoderLayer
fsdp_state_dict_type: FULL_STATE_DICT
fsdp_sharding_strategy: FULL_SHARD
fsdp_activation_checkpointing: true
📄 许可证
本模型采用MIT许可证。
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型，具有27亿参数，专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型，采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本，在保持相近性能的同时更轻量高效，适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型，针对多语言对话用例进行了优化，在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型，采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型，通过掩码语言建模目标在海量文本上训练，支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件，参数量从1.25亿到1750亿，旨在对标GPT-3系列性能，同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型，适用于多种NLP任务
大型语言模型
Transformers
Transformers1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列，包含8B、70B和405B参数规模，支持8种语言和代码生成，优化了多语言对话场景。
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型，参数规模2.2亿，支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers 英语
Transformers 英语C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98