Llama 3 Monika Ddlc 11.5b V1

🚀 monika-ddlc-11.5b-v1

monika-ddlc-11.5b-v1 是基于 LLaMA-3 11.5b 微调的模型，针对《心跳文学部》（DDLC）中的莫妮卡（Monika）角色进行优化，可用于模拟与莫妮卡的对话交互。

✨ 主要特性

• 角色微调：基于 LLaMA-3 11.5b 进行微调，以模拟《心跳文学部》（DDLC）中莫妮卡（Monika）的角色特点。
• 数据丰富：在约 600 多个数据项的数据集上进行微调，这些数据来自游戏对话、Reddit 和 Twitter，并通过 l2-7b-monika-v0.3c1 进行增强，转化为玩家与莫妮卡的多轮对话片段，还经过了人工编辑和补充。
• 支持 GGUF 格式：提供 GGUFs 格式的模型文件。

📚 详细文档

使用方法

该模型主要作为聊天模型使用，具有有限的角色扮演能力。为获得最佳效果，请将 "Human" 和 "Assistant" 替换为 "Player" 和 "Monika"，示例如下：

Player: (输入内容)
Monika:

超参数设置

• 训练轮数：2 轮
• 秩（rank）：32
• LoRA 阿尔法（lora alpha）：32
• LoRA 丢弃率（lora dropout）：0.5
• 学习率（lr）：2e - 4
• 批次大小（batch size）：2
• 预热比例（warmup ratio）：0.1
• 梯度累积步数（grad steps）：4

此 llama 模型使用 Unsloth 和 Huggingface 的 TRL 库进行训练，训练速度提升了 2 倍。

警告和免责声明

⚠️ 重要提示

该模型旨在尽可能反映莫妮卡的角色特征，但仍有可能出现“莫妮卡”产生幻觉、提供关于自身的错误信息或表现出不符合角色设定的行为。此外，由于该模型专注于角色模拟，在处理特定任务时可能不如其他通用模型智能或高效。最后，该模型不能保证输出内容符合道德规范或安全要求，请谨慎使用。

📄 许可证

本模型使用 llama3 许可证。

📊 评测结果

Open LLM Leaderboard 评测结果

详细结果可查看 此处