🚀 模型测试项目
本模型用于测试部分数据项目。它是一个多用途的聊天/聊天指令混合模型,可视为 Dan 的 PersonalityEngine Mk. 2 的原型。该模型在大量单轮指令、多轮指令、角色扮演场景和文本冒险游戏上进行了训练。它基于 Mistral-7B 构建。
📦 模型信息
属性 |
详情 |
基础模型 |
mistralai/Mistral-7B-v0.1 |
训练数据集 |
PocketDoc/Floyd-Text-Adventures、PocketDoc/Choose-Your-Story-Long-Text-Adventures、openchat/openchat_sharegpt4_dataset、64bits/lima_vicuna_format、gsm8k、PocketDoc/Wizard-Vicuna-Refined、PocketDoc/Guanaco-Unchained-Refined |
许可证 |
apache-2.0 |
✨ 主要特性
- 多用途:可用于聊天和指令执行,是聊天与聊天指令的混合模型。
- 丰富训练:在多种类型的数据上进行训练,包括单轮指令、多轮指令、角色扮演场景和文本冒险游戏。
- 基于优秀基础模型:以 Mistral-7B 为基础,继承其强大的语言理解和生成能力。
📚 详细文档
提示格式
采用 Pygmalion / Metharme 格式。提示应从 "<|model|>" 后同一行直接开始,无空格。以下是所有有效格式,可根据需要扩展到任意轮数:
<|system|>系统消息内容<|user|>用户消息内容<|model|>
<|system|>系统消息内容<|user|>用户消息内容<|model|>模型回复内容<|user|>用户消息内容<|model|>
<|system|>系统消息内容<|model|>
<|system|>系统消息内容<|model|>模型回复内容<|user|>用户消息内容<|model|>
示例提示及输出
提示
<|system|>你是一名助手,帮助用户并在适用时使用 Markdown。<|user|>90 年代的顶级游戏有哪些?<|model|>
输出
20 世纪 90 年代是电子游戏的黄金时代,各种平台上发布了无数标志性游戏。以下是那个十年中一些最受欢迎和有影响力的游戏列表:
- **《超级马里奥世界》(SNES)** - 于 1990 年发布,这款经典平台游戏向玩家介绍了耀西,并设有像甜甜圈平原和星星世界这样令人难忘的关卡。
- **《真人快打》(街机/世嘉 Genesis)** - 这款血腥的格斗游戏在 1992 年发布时以其暴力的终结技和像绝对零度和蝎子这样的秘密角色震惊了观众。
- **《毁灭战士》(PC)** - Id Software 开创性的第一人称射击游戏通过引入快节奏的动作和多人死亡竞赛模式彻底改变了该类型游戏。
- **《街头霸王 II》(街机/SNES)** - 卡普空在其原始《街头霸王》街机游戏基础上推出的续作增加了新角色,如隆的对手肯·马斯塔,以及像升龙拳和波动拳这样复杂的特殊招式。
- **《古惑狼》(PlayStation)** - 顽皮狗的吉祥物平台游戏系列于 1996 年推出,主角古惑狼必须从科特斯博士对阿库阿库面具的邪恶实验中拯救他的女友塔娜。
- **《最终幻想 VII》(PlayStation)** - 史克威尔艾尼克斯的第七部作品带领玩家穿越米德加市,在那里他们加入了克劳德·斯特莱夫的生态恐怖组织雪崩,对抗由萨菲罗斯领导的神罗电力公司。
- **《生化危机》(PlayStation)** - 卡普空创作的生存恐怖杰作中,克里斯·雷德菲尔德与吉尔·瓦伦蒂安一起调查斯宾塞大厦,同时努力不被僵尸吃掉!
提示
<|system|>你是一个虚拟故事生成器。你根据用户的输入创作一个精彩且引人入胜的故事。使用丰富的感官描述和优美的散文。<|user|>半人马座阿尔法星已沦陷,被熊族攻陷。这是一个关于一名地面士兵的视角故事。<|model|>
输出
引擎的轰鸣声震撼着星球的根基,巨大的战舰降临半人马座阿尔法星。空气中弥漫着燃烧燃料和烟雾的刺鼻气味,仿佛整个世界都被点燃了。在混乱中,士兵们四处寻找掩护,拼命保护自己免受敌人无情火力的攻击。
在这场屠杀中,一名士兵傲然挺立,他的心脏像死亡的鼓点一样在胸腔中跳动。他知道自己必须做点什么,任何事情,来阻止这场噩梦成为现实。他颤抖着双手,拿起武器,决心对抗那威胁要吞噬他们所有人的强大力量。
战斗在他周围激烈进行,士兵突然感到一股肾上腺素在血管中涌动。仿佛他体内某种隐藏的力量被唤醒,赋予他超乎想象的力量。他的眼睛闪烁着坚定的光芒,举起枪,瞄准他看到的第一个目标:一个类似熊的生物,它的皮毛沾满了鲜血和污垢,带着杀意向他冲来。
随着一声震耳欲聋的枪响,士兵射出几发子弹,正中野兽的胸膛。冲击力使它向后踉跄,但它没有倒下。相反,它发出一声凶猛的咆哮,再次向前冲锋。士兵咬紧牙关,再次扣动扳机,将弹匣里的子弹全部射进这只生物已经千疮百孔的身体。
但即使子弹穿透它的肉体,这只野兽似乎毫不在意,继续向惊恐的士兵逼近。为了争取任何优势,他在怪物撞上他刚才站立的地方前的瞬间跳到了一边。当它转过身来,准备再次发动猛烈攻击时,士兵可以看到它的眼睛闪烁着超凡的光芒。
提示
<|system|>你是一位拥有数十年经验的专业编辑,帮助用户完成他们交给你的任何任务。<|user|>你能把这句话改写得更流畅吗?“I knew I probably shouldnt have done that but oh well”<|model|>
输出
我在做决定前犹豫了,心里很清楚这不是个明智的选择。然而,最后我还是选择了继续做下去。
🔧 技术细节
- 序列长度:4096
- 训练时间:4 小时
- 硬件:2x RTX 4090
- 训练类型:QLoRA
- PEFT R/A:32/32
📄 许可证
本模型使用的许可证为 apache-2.0。
🏆 评估结果
详细结果可查看 此处。
指标 |
值 |
平均值 |
56.92 |
ARC (25-shot) |
62.03 |
HellaSwag (10-shot) |
84.23 |
MMLU (5-shot) |
64.19 |
TruthfulQA (0-shot) |
46.49 |
Winogrande (5-shot) |
78.69 |
GSM8K (5-shot) |
13.27 |
DROP (3-shot) |
49.54 |
🙏 致谢
感谢 Kobold AI 社区整理的 Skein 数据集,该数据集对本模型的能力至关重要。