GLM4-9B-Neon-v2オープンソースロールプレイングモデル - 滑らかな体験と美しい文章を無料で楽しめます

ホーム

GLM4 9B Neon V2

allura-orgによって開発

GLM-4-9B-0414を基にしたロールプレイ用ファインチューニングモデルで、滑らかなロールプレイ体験と美しい文章を提供します。

大規模言語モデル

Transformers

英語オープンソースライセンス:MIT #ロールプレイ最適化 #長文脈サポート(16k)#QLoRA効率的なファインチューニング

ダウンロード数 39

リリース時間 : 4/26/2025

モデル概要

これはGLM-4-9B-0414大規模言語モデルをファインチューニングしたロールプレイモデルで、個性豊かで流暢な会話能力を持ち、特にロールプレイやショートストーリー生成に適しています。

モデル特徴

滑らかなロールプレイ体験

モデルは特別に最適化されており、自然で流暢なロールプレイ対話体験を提供します

美しい文章

生成されるテキストは質が高く、独特の文体を持っています

長文脈サポート

16kトークンの長文脈ウィンドウをサポート

効率的なトレーニング

QLoRAとCCE技術を採用し、トレーニング効率を最適化

モデル能力

ロールプレイ対話生成

ショートストーリー創作

長文生成

JSON形式システムプロンプト処理

使用事例

エンターテインメント

ロールプレイゲーム

ゲーム内のNPC対話生成に使用

個性豊かなキャラクターインタラクション体験を提供

クリエイティブライティング

ショートストーリー創作

作家のクリエイティブライティングを支援

高品質なストーリー断片を生成

🚀 GLM-4-9B-0414 Neon v2

GLM-4-9B-0414をRPファインチューニングしたモデルです。魅力的な個性があり、文章もきれいです。ただし、時々少し変わった反応をすることがあります。ClaudeやGeminiのようなスタイルではなく、独自の雰囲気があります。ただし、長いシステムプロンプトやキャラクターカードは好まないようで、JSON形式のシステムプロンプトに反応が良いようです。

このモデルはAuriによって訓練されました。

Image by CalamitousFelicitousness

✨ 主な機能

RPファインチューニングにより、魅力的な個性を持った応答が可能
JSON形式のシステムプロンプトに反応が良い

📦 インストール

このセクションではインストールに関する具体的な手順が提供されていません。

💻 使用例

基本的な使用法

このモデルはGLM4のインストラクトフォーマットに対応しており、ベースモデルと同じように動作します。バックエンドではBOSトークンを自動的に追加することができないため、自分で追加する必要があります。チャットの完了にはJinjaテンプレートが有効です。

[gMASK]<sop><|system|>
{system_prompt}<|user|>
{prompt}<|assistant|>

高度な使用法

推奨されるサンプラーの設定は以下の通りです。

Temperature - 1
Min-P - 0.1
Repetition Penalty - 1.03

Example master import for SillyTavern (using Shingane-v1 system prompt by Steelskull)

📚 ドキュメント

訓練に関するメモ

このモデルは、77Mトークンの合成RPと短編小説生成データからなるデータセットで1エポック訓練されました。訓練は、OwenArliによって提供された2xRTX 3090のワークステーションで約11時間かかりました。訓練設定には適切なデフォルト値を使用し、QLoRAとCCEを組み合わせてメモリ使用量を最適化しました。48GBのメモリで16kのシーケンス長を問題なく扱うことができました。Eval/Lossが正常に動作しない問題がありましたが、原因は不明です。それ以外はスムーズに訓練が進みました。

ArliAIにはコンピューティングリソースの提供と共同作業に感謝いたします！

フォーマット

このモデルは、ベースモデルと同じようにGLM4のインストラクトフォーマットに反応します。バックエンドではBOSトークンを自動的に追加することができないため、自分で追加する必要があります。チャットの完了にはJinjaテンプレートが有効です。

推奨サンプラー

特に特別な設定は必要なく、一般的な設定で十分です。

訓練設定

Axolotl設定を表示

# Model
base_model: /home/owen/models/GLM-4-9B-0414
strict: false
model_type: AutoModelForCausalLM

# Liger Kernels and CCE (optimization)
plugins:
  - axolotl.integrations.liger.LigerPlugin
  - axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin
liger_rope: false
liger_rms_norm: false
liger_glu_activation: false
liger_fused_linear_cross_entropy: false
cut_cross_entropy: true

# Output and HuggingFace
output_dir: ./GLM-9B-Neon-v2
hub_model_id: AuriAetherwiing/GLM-9B-Neon-v2-LoRA
hf_use_auth_token: true
hub_strategy: "all_checkpoints"

# WandB
wandb_project: allura-org
wandb_entity:
wandb_name: GLM-9B-Neon-v2

# === Data Configuration ===

# Data
#chat_template: chatml
#train_on_inputs: false
group_by_length: false
datasets:
  - path: ./Neon/neon.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value
  - path: ./Neon/S2.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value
  - path: ./Neon/SystemChat_subset_filtered_sharegpt_utf8fix.jsonl
    type: chat_template
    field_messages: conversations
    message_field_role: from
    message_field_content: value

dataset_prepared_path: ./lora_last_run_prepared

## Evaluation
val_set_size: 0.01
evals_per_epoch: 2
eval_table_size:
eval_max_new_tokens: 128

# Technical aspects
sequence_len: 16384
save_safetensors: true
saves_per_epoch: 2
logging_steps: 1
#special_tokens:
#  pad_token: <pad>
# Quantization
bf16: auto
fp16:
tf32: false
## For LoRA
load_in_8bit: false
load_in_4bit: true

# LoRA
peft_use_rslora: false
peft_use_dora: false # better but slower
adapter: qlora # lora or qlora
lora_model_dir:
lora_r: 64 # 64 is optimal for most trains on instruct
lora_alpha: 64
lora_dropout: 0.1
lora_target_linear: true
lora_fan_in_fan_out:
lora_target_modules:

# loraplus_lr_ratio: 8 # works to converge faster but is kinda cancer bc makes model unstable
#loraplus_lr_embedding:

# Training hyperparameters
# max_steps:
num_epochs: 1

# Anti Overfit and Stability
weight_decay: 0.01
max_grad_norm: 1.0

## Learning Rate
warmup_ratio: 0.05
learning_rate: 1e-5
lr_scheduler: rex
#lr_scheduler_kwargs:
#    min_lr: 0.0000024
optimizer: adamw_torch # usually adamw_torch or paged_adamw_8bit

## Batch Size
gradient_accumulation_steps: 32      # More effective batch size - stabler train, usually. MBS also speeds it up.
micro_batch_size: 1          # Batch size per gpu = micro_batch_size * gradient_accumulation_steps
eval_batch_size: 1

# Optimizations
pad_to_sequence_len: true
sample_packing: true
eval_sample_packing: false
flash_attention: true
xformers_attention:
gradient_checkpointing:
gradient_checkpointing_kwargs:
   use_reentrant: false
   
# Set to a divisor (> 1) of the number of GPUs available
#sequence_parallel_degree: 2  # Split sequences across 4 GPUs
# Optional; strides across the key dimension. Larger values use more memory but should make training faster.
#heads_k_stride: 1
# Optional; one of "varlen_llama3", "batch_ring", "batch_zigzag", "batch_stripe". Defaults to
# "varlen_llama3" when `sample_packing: true`, and "batch_ring" otherwise.
#ring_attn_func:
   
# deepspeed: /home/owen/axolotl/deepspeed_configs/zero3_bf16_cpuoffload_all.json

fsdp:
  - full_shard
  - auto_wrap
fsdp_config:
  fsdp_limit_all_gathers: true
  fsdp_sync_module_states: true
  fsdp_offload_params: false
  fsdp_use_orig_params: false
  fsdp_cpu_ram_efficient_loading: true
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_transformer_layer_cls_to_wrap: Glm4DecoderLayer
  fsdp_state_dict_type: FULL_STATE_DICT
  fsdp_sharding_strategy: FULL_SHARD
  fsdp_activation_checkpointing: true