Qwen3 4B Rpg Roleplay

🚀 Qwen3-4B角色扮演LoRA

讓角色在對話中鮮活起來

用自然、引人入勝的對話賦予你的數字夥伴生命

🚀 快速開始

Hugging Face Transformers

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Load model with 4-bit quantization for efficiency
tokenizer = AutoTokenizer.from_pretrained("chun121/qwen3-4b-roleplay-lora")
model = AutoModelForCausalLM.from_pretrained(
    "chun121/qwen3-4b-roleplay-lora",
    torch_dtype=torch.float16,  # Use float16 for faster inference
    device_map="auto"           # Automatically choose best device
)

# Create a character-focused prompt
character_prompt = """
Character: Elara, an elven mage with centuries of knowledge but little patience for novices
Setting: The Grand Library of Mystral
Context: A young apprentice has asked for help with a difficult spell

User: Excuse me, I'm having trouble with the fire conjuration spell. Could you help me?

Elara:
"""

# Generate response
inputs = tokenizer(character_prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=200,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用GGUF模型

如果你正在使用帶有llama.cpp的GGUF導出文件：

# Example command for Q4_K_M quantization
./llama -m chun121-qwen3-4b-roleplay-lora.Q4_K_M.gguf -p "Character: Elara, an elven mage..." -n 200

✨ 主要特性

歡迎，各位創作者！我是Chun（@chun121），我對令人印象深刻的Qwen3 - 4B模型進行了微調，使其在基於角色的對話和角色扮演場景中表現出色。無論你是在製作沉浸式遊戲、構建交互式講故事平臺，還是開發以角色為驅動的人工智能體驗，這個模型都將幫助你的角色說話時展現出個性、連貫性和深度。

這個LoRA適配版本在保持基礎模型智能的同時，增強了以下能力：

• 保持一致的角色人設
• 生成反映角色特徵的真實對話
• 創建沉浸式的敘事回覆
• 在整個對話中記住上下文

📦 安裝指南

文檔中未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Load model with 4-bit quantization for efficiency
tokenizer = AutoTokenizer.from_pretrained("chun121/qwen3-4b-roleplay-lora")
model = AutoModelForCausalLM.from_pretrained(
    "chun121/qwen3-4b-roleplay-lora",
    torch_dtype=torch.float16,  # Use float16 for faster inference
    device_map="auto"           # Automatically choose best device
)

# Create a character-focused prompt
character_prompt = """
Character: Elara, an elven mage with centuries of knowledge but little patience for novices
Setting: The Grand Library of Mystral
Context: A young apprentice has asked for help with a difficult spell

User: Excuse me, I'm having trouble with the fire conjuration spell. Could you help me?

Elara:
"""

# Generate response
inputs = tokenizer(character_prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    inputs["input_ids"],
    max_new_tokens=200,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

高級用法

# Example command for Q4_K_M quantization
./llama -m chun121-qwen3-4b-roleplay-lora.Q4_K_M.gguf -p "Character: Elara, an elven mage..." -n 200

📚 詳細文檔

推薦用法

此模型在以下情況下效果最佳：

1. 提供角色背景信息：包括角色的個性、背景和當前情況的簡要描述。
2. 設定場景：給出環境和情境的背景信息。
3. 使用聊天格式：將輸入組織成用戶/人類與角色之間的對話。
4. 保持溫度值：0.7 - 0.8之間的值能在創造性和連貫性之間取得良好平衡。

侷限性

• 上下文窗口限制為512個標記。
• 在非常長的對話中偶爾可能會“忘記”角色特徵。
• 訓練數據集主要集中在奇幻/RPG情境。
• 作為LoRA微調模型，繼承了基礎Qwen3 - 4B模型的侷限性。

相關項目

如果你喜歡這個模型，可以查看以下相關項目：

• 我的其他微調模型
• Unsloth優化庫
• PJMixers角色數據集

致謝

特別感謝：

• Qwen團隊提供了出色的基礎模型。
• PJMixers - Dev提供了高質量的數據集。
• Unsloth團隊讓高效微調變得可行。
• HuggingFace社區的持續支持。

反饋與聯繫

我很想了解這個模型在你的項目中的使用情況！歡迎：

• 在HuggingFace倉庫中提出問題。
• 在HuggingFace上與我聯繫 @chun121。
• 分享你使用此模型創建的角色示例。

🔧 技術細節

這個LoRA模型是在免費的Google Colab T4 GPU上使用高效量化技術進行訓練的，以充分利用有限的資源：

• 數據集：PJMixers-Dev/Gryphe-Aesir-RPG-Charcards-Opus-Mixed-split
• LoRA配置：
  • 秩：16
  • 阿爾法：32
  • 目標模塊：針對角色對話生成進行了優化
• 訓練超參數：
  • 批量大小：8
  • 梯度累積步數：4
  • 學習率：使用餘弦調度器，學習率為1e - 4
  • 最大步數：200
  • 精度：FP16/BF16（自動檢測）
  • 打包：啟用以實現高效訓練
  • QLoRA：通過bitsandbytes進行4位量化

Gryphe-Aesir-RPG-Charcards-Opus-Mixed-split數據集是一個豐富的角色交互集合，具有以下特點：

• 不同類型的多樣化角色原型。
• 保持角色一致性的多輪對話。
• 多樣的情感上下文和場景。
• 豐富的描述性語言和以角色為驅動的回覆。

這個精心策劃的數據集有助於模型理解角色聲音的細微差別，在生成引人入勝的回覆時保持一致的個性。

📄 許可證

本模型使用的許可證為Apache 2.0。